[论文解读] Graph Structure of Neural Networks

Jiaxuan You, Leskovec, Jure+2 more|arXiv (Cornell University)|Jul 13, 2020

Advanced Graph Neural Networks被引用 23

一句话总结

本文提出一种关系图框架，将神经网络架构表示为图上的动态消息传递过程，揭示了在由聚类系数和平均路径长度定义的图拓扑中存在一个‘最佳点’，在此处性能达到最优。研究发现，表现最佳的模型在结构上与生物神经网络相似，且在不同任务和数据集上，性能近似为这些图度量的平滑函数。

ABSTRACT

Neural networks are often represented as graphs of connections between neurons. However, despite their wide use, there is currently little understanding of the relationship between the graph structure of the neural network and its predictive performance. Here we systematically investigate how does the graph structure of neural networks affect their predictive performance. To this end, we develop a novel graph-based representation of neural networks called relational graph, where layers of neural network computation correspond to rounds of message exchange along the graph structure. Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. Our work opens new directions for the design of neural architectures and the understanding on neural networks in general.

研究动机与目标

• 理解神经网络架构与预测性能之间的系统性关系。
• 克服传统计算图表示在方向性、无环性和分层二部图结构方面的局限性。
• 开发一种可推广的、基于图论的神经网络表示方法，捕捉超越单向数据流的消息交换。
• 识别在不同任务和数据集上高性能神经网络的结构特征。
• 利用图度量实现高效识别有前景的架构，推动自动化神经架构搜索。

提出的方法

• 提出一种关系图表示方法，其中每个神经网络层对应于无向图上的一轮消息交换，节点代表计算单元，边代表消息交换。
• 定义消息函数和聚合函数，以建模每轮消息传递中信息在节点间的流动与组合方式。
• 使用图度量——聚类系数和平均路径长度——作为关系图结构的关键描述符，用于分析性能。
• 设计一种灵活的图生成器（WS-flex），系统性地探索多样化的图拓扑，同时保持结构多样性。
• 使用关系图作为架构先验，在多个数据集和任务上训练并评估模型，研究性能对拓扑的依赖性。
• 通过提取基于权重的关系图，反向工程训练后的全连接网络，观察训练过程中结构的演化。

实验结果

研究问题

• RQ1 是否存在神经网络图结构与其预测性能之间的系统性关系？
• RQ2 在不同任务和数据集上，高性能神经网络的结构特征是什么？
• RQ3 能否将神经网络的预测性能近似为关系图拓扑度量的平滑函数？
• RQ4 训练过程中，神经网络的图结构是否演化至最优拓扑？
• RQ5 关系图框架能否统一理解通用神经架构与图神经网络（GNNs）？

主要发现

• 在关系图拓扑中存在一个‘最佳点’——表现为中等聚类系数和较短平均路径长度——该特征在多个数据集和任务上显著提升了预测性能。
• 神经网络性能近似为关系图聚类系数和平均路径长度的平滑函数，仅凭图结构即可实现性能预测。
• 表现最佳的神经网络（包括ResNets和MLPs）的关系图结构与真实生物神经网络中的结构极为相似。
• 关系图表示揭示，训练后的全连接网络在图空间中向‘最佳点’区域演化，尽管尚未完全弥补与显式设计的最优图之间的性能差距。
• 关系图框架为GNNs与通用神经架构提供了统一视角，表明GNNs是消息函数共享且图结构依赖于输入的特殊情况。
• 研究表明，基于最优图拓扑的结构先验可超越标准全连接架构，即使从随机初始化开始训练也能实现更优性能。