[论文解读] Mean-field theory of graph neural networks in graph partitioning

Tatsuro Kawamoto, Masashi Tsubaki+1 more|Tokyo Tech Research Repository (Tokyo Institute of Technology)|Oct 29, 2018

Advanced Graph Neural Networks参考文献 31被引用 11

一句话总结

本文为一种最小化的图神经网络（GNN）架构构建了平均场理论，以分析其在图划分任务中的性能，特别是检测随机块模型（SBM）中的社区结构。结果表明，即使在未训练、权重随机的情况下，GNN 由于其架构设计仍能实现优异性能；而基于反向传播的训练仅带来微小改进，表明 GNN 的架构本身是决定可检测性极限的关键因素。

ABSTRACT

A theoretical performance analysis of the graph neural network (GNN) is presented. For classification tasks, the neural network approach has the advantage in terms of flexibility that it can be employed in a data-driven manner, whereas Bayesian inference requires the assumption of a specific model. A fundamental question is then whether GNN has a high accuracy in addition to this flexibility. Moreover, whether the achieved performance is predominately a result of the backpropagation or the architecture itself is a matter of considerable interest. To gain a better insight into these questions, a mean-field theory of a minimal GNN architecture is developed for the graph partitioning problem. This demonstrates a good agreement with numerical experiments.

研究动机与目标

• 理解 GNN 在图划分任务中表现优异的原因是否源于其架构设计，还是源于基于反向传播的训练过程。
• 构建一个理论框架——平均场理论——用于分析在无参数学习条件下的 GNN 行为。
• 利用未训练和训练后的配置，评估最小化 GNN 在随机块模型（SBM）中的可检测性极限。
• 在相同的理论与实验设置下，将 GNN 的性能与谱聚类和信念传播等其他方法进行比较。
• 评估深度、残差连接和批量归一化在 GNN 图划分任务性能中的作用。

提出的方法

• 推导出一种具有随机权重的最小化 GNN 的平均场理论，重点研究特征在各层间传播的动力学行为。
• 将图邻接矩阵 A 作为每层中节点间消息传递的主要机制。
• 在中间层中应用双曲正切激活函数 φ(x)，以及随机权重矩阵 W^t 和偏置 b^t。
• 使用最终的读出分类器 W^out 预测组标签，性能通过标准化互信息（NMI）进行评估。
• 在具有不同噪声水平和大小的合成 SBM 图上，比较未训练 GNN（随机权重）与训练 GNN（通过 Adam 优化器训练）的性能。
• 引入残差连接（ResNet）和批量归一化（BN），以在深层架构（T > 25）中稳定训练过程。

实验结果

研究问题

• RQ1 仅依靠 GNN 架构本身，是否足以在未进行参数训练的情况下实现图划分的优异性能？
• RQ2 在 SBM 中检测社区结构时，反向传播在多大程度上提升了 GNN 的性能？
• RQ3 最小化 GNN 的理论可检测性极限是什么？其与实验结果相比如何？
• RQ4 深度、残差连接和批量归一化在未训练和训练状态下对 GNN 性能有何影响？
• RQ5 在微调 GNN 参数后，SBM 中的可检测性相变是否仍然保持不变？

主要发现

• 未训练的 GNN 在随机权重下即可实现图划分的高性能，表明架构本身是准确率的主要贡献因素。
• 平均场理论准确预测了在大 N 极限下的可检测性阈值 ε* ≈ 0.33，与数值实验结果一致。
• 训练后的 GNN 与未训练 GNN 相比仅获得微小性能提升，表明在此最小化设置中，反向传播对性能增益贡献甚微。
• 训练后可检测性相变基本保持不变，表明参数微调并未显著提升理论极限。
• 对于深层网络（T=100），在 ε*≈0.33 附近重叠度急剧下降，且随着图规模增大，相变变得更为陡峭，证实了相变的存在。
• 在未训练 GNN 中使用 φ(X^T) 作为读出分类器，其性能接近完全训练后的 GNN，凸显了架构设计的重要性。