[论文解读] Anti-Symmetric DGN: a stable architecture for Deep Graph Networks

Alessio Gravina, Davide Bacciu+1 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Graph Neural Networks被引用 14

一句话总结

本文提出抗对称深度图网络（A-DGN），一种基于常微分方程（ODEs）推导出的稳定且非耗散的深度图网络架构。通过在ODE公式中强制使用抗对称权重矩阵，A-DGN能够保持长距离依赖关系，并防止梯度消失或梯度爆炸，从而实现数十层网络的有效训练，并在多个基准测试中优于标准DGN。

ABSTRACT

Deep Graph Networks (DGNs) currently dominate the research landscape of learning from graphs, due to their efficiency and ability to implement an adaptive message-passing scheme between the nodes. However, DGNs are typically limited in their ability to propagate and preserve long-term dependencies between nodes, i.e., they suffer from the over-squashing phenomena. This reduces their effectiveness, since predictive problems may require to capture interactions at different, and possibly large, radii in order to be effectively solved. In this work, we present Anti-Symmetric Deep Graph Networks (A-DGNs), a framework for stable and non-dissipative DGN design, conceived through the lens of ordinary differential equations. We give theoretical proof that our method is stable and non-dissipative, leading to two key results: long-range information between nodes is preserved, and no gradient vanishing or explosion occurs in training. We empirically validate the proposed approach on several graph benchmarks, showing that A-DGN yields to improved performance and enables to learn effectively even when dozens of layers are used.

研究动机与目标

• 解决深度图网络（DGNs）中的过压缩问题，该问题限制了深层架构中的长距离信息传播。
• 通过使用连续ODE公式，设计一种稳定且非耗散的消息传递机制，用于图神经网络。
• 通过防止反向传播过程中梯度消失或梯度爆炸，实现对具有大量层数的DGN的有效训练。
• 通过在图上使用抗对称权重矩阵，为稳定且保守的ODE动力学提供理论基础。
• 通过实证验证，A-DGN在标准DGN性能下降的深层架构中仍能保持性能。

提出的方法

• 将图消息传递过程建模为基于图结构状态上函数 f_G 的节点级动力学的连续ODE系统。
• 通过在消息传递函数中使用抗对称权重矩阵，确保ODE的稳定性和非耗散性。
• 通过前向欧拉法对所得稳定ODE进行离散化，推导出A-DGN层，确保离散架构中的数值稳定性。
• 理论分析证明，该ODE系统是稳定且非耗散的，从而保证训练过程中不会出现梯度爆炸或消失。
• 该框架可重新解释并扩展经典DGNs，将其视为图上非耗散ODE的离散近似。
• 该方法与任何标准DGN架构兼容，可作为即插即用模块，提升深度可扩展性。

实验结果

研究问题

• RQ1 基于ODE的图消息传递公式能否实现稳定且非耗散的动力学，从而保持长距离依赖关系？
• RQ2 在ODE系统中强制使用抗对称权重矩阵，是否能确保深层图网络反向传播过程中的梯度稳定性？
• RQ3 当堆叠数十层时，A-DGN是否能保持或提升性能，而标准DGN则因过压缩而性能下降？
• RQ4 A-DGN在需要长距离交互的图基准测试中，相比经典DGN表现提升的幅度有多大？
• RQ5 DGN的ODE公式能否被重新解释为一种连续且保守的过程，从而缓解过平滑和过压缩问题？

主要发现

• A-DGN在多个图基准测试中达到最先进性能，包括PubMed、Coauthor CS和Amazon Photo，即使在50层或更多层时亦然。
• 在Coauthor CS数据集上，A-DGN在50层时仍保持91.35%的准确率，而GCN、GAT、GraphSAGE和GIN在相同条件下准确率下降24.5%至78.2%。
• A-DGN在所有数据集上均优于DGC（一种无参数基线），证明其性能提升源于架构稳定性，而非仅参数效率。
• 该方法在建模长距离依赖关系时表现出一致的性能增益，尤其在需要多跳邻域信息的任务中表现突出。
• 以GCN为基模型的A-DGN在Coauthor Physics数据集上达到93.27%的准确率，超过最佳基线（GCNII为92.97%），展现出优异的深度鲁棒性。
• 消融研究证实，抗对称权重约束对稳定性至关重要，若移除该约束，性能在深层网络中将明显下降。