[论文解读] ACMP: Allen-Cahn Message Passing with Attractive and Repulsive Forces for Graph Neural Networks

Yuelin Wang, Kai Yi+3 more|arXiv (Cornell University)|Jun 11, 2022

Machine Learning in Materials Science被引用 7

一句话总结

ACMP 提出了一种新颖的图神经网络消息传递机制，该机制基于具有吸引与排斥力的粒子系统，并通过 Allen-Cahn 双势阱势能增强以稳定训练。该方法通过确保 Dirichlet 能量具有严格正的下界，防止了过度平滑，从而实现了深度 GNN（最高达 128 层）在同质与异质节点分类基准上的最先进性能。

ABSTRACT

Neural message passing is a basic feature extraction unit for graph-structured data considering neighboring node features in network propagation from one layer to the next. We model such process by an interacting particle system with attractive and repulsive forces and the Allen-Cahn force arising in the modeling of phase transition. The dynamics of the system is a reaction-diffusion process which can separate particles without blowing up. This induces an Allen-Cahn message passing (ACMP) for graph neural networks where the numerical iteration for the particle system solution constitutes the message passing propagation. ACMP which has a simple implementation with a neural ODE solver can propel the network depth up to one hundred of layers with theoretically proven strictly positive lower bound of the Dirichlet energy. It thus provides a deep model of GNNs circumventing the common GNN problem of oversmoothing. GNNs with ACMP achieve state of the art performance for real-world node classification tasks on both homophilic and heterophilic datasets. Codes are available at https://github.com/ykiiiiii/ACMP.

研究动机与目标

• 解决深度图神经网络中的过度平滑问题，即由于过度聚合导致节点特征变得不可区分。
• 克服现有 GNN 在异质图中的局限性，其中不同类别的节点相连，容易被错误分类。
• 开发一种消息传递机制，以在深度传播过程中保持特征多样性与能量稳定性。
• 实现理论上有依据的深度 GNN（最高 128 层），并为 Dirichlet 能量提供可证明的下界，以防止发散并确保收敛。

提出的方法

• 将节点特征建模为受吸引力（聚类）、排斥力（分离）以及 Allen-Cahn 势能（相变控制）驱动的动力系统中的粒子。
• 将消息传递过程表述为求解粒子系统动力学的神经 ODE，使用 DOPRI5 自适应步长求解器。
• 引入 Allen-Cahn 项（Rayleigh 阻尼）以防止 Dirichlet 能量发散，并确保其具有严格正的下界。
• 采用反应-扩散系统以平衡特征平滑性与类间分离性，实现双簇聚集行为。
• 通过可学习参数 β、时间 T 和力的强度控制自特征保留与邻居影响之间的权衡。
• 使用单一神经 ODE 求解器实现模型，支持端到端训练与可扩展的深度网络构建。

实验结果

研究问题

• RQ1 具有吸引与排斥力的粒子系统，结合 Allen-Cahn 动力学，是否能够稳定深度图神经网络并防止过度平滑？
• RQ2 Allen-Cahn 项是否能确保 Dirichlet 能量具有严格正的下界，从而避免深度 GNN 中的特征坍塌？
• RQ3 ACMP 是否能在同质与异质图基准上均保持高性能，尤其是在极端深度下？
• RQ4 Allen-Cahn 势能的引入如何影响训练过程中的数值稳定性与特征幅值？
• RQ5 ACMP 在参数量更少的情况下，与 GCN、GAT 和 GraphSage 相比，能在多大程度上实现最先进性能？

主要发现

• 在深度 4 时，ACMP 在 Cora（83.87% ± 0.52%）、Citeseer（74.61% ± 1.04%）和 PubMed（79.74% ± 0.24%）上均达到最先进测试准确率，优于 GCN、GAT、GraphSage 和 GRAND。
• 在深度 128 时，ACMP 在 Cora 上保持 80.30% 的测试准确率，在 Citeseer 上保持 67.83%，表明其对深度具有鲁棒性，且未出现过度平滑。
• ACMP 的 Dirichlet 能量被证明具有严格正的下界，确保即使在极端深度下特征也不会坍塌至共识。
• 若无 Allen-Cahn 项，节点特征在 T=30 时会增长至 1×10^20；而加入该机制后，特征稳定在 ±1 附近，避免了数值失败。
• ACMP 在 Cora 上仅使用 17k 个参数，显著少于 GCN（144k）、GAT（230k）和 GraphSage（200k），表明其具有极高的参数效率。
• 消融研究证实，Allen-Cahn 项对稳定性至关重要——若无该机制，排斥力将导致特征无界增长，使训练不可行。