[论文解读] EIGNN: Efficient Infinite-Depth Graph Neural Networks

Juncheng Liu, Kenji Kawaguchi+3 more|arXiv (Cornell University)|Feb 22, 2022

Neural Networks and Applications被引用 8

一句话总结

该论文提出EIGNN，一种具有无限深度的新型图神经网络，通过推导闭式解高效捕捉图中的长程依赖关系，避免使用迭代求解器。其在合成数据集和真实世界数据集上均实现了最先进性能，并在噪声和对抗性扰动下表现出更强鲁棒性，同时通过特征分解提升了计算效率。

ABSTRACT

Graph neural networks (GNNs) are widely used for modelling graph-structured data in numerous applications. However, with their inherently finite aggregation layers, existing GNN models may not be able to effectively capture long-range dependencies in the underlying graphs. Motivated by this limitation, we propose a GNN model with infinite depth, which we call Efficient Infinite-Depth Graph Neural Networks (EIGNN), to efficiently capture very long-range dependencies. We theoretically derive a closed-form solution of EIGNN which makes training an infinite-depth GNN model tractable. We then further show that we can achieve more efficient computation for training EIGNN by using eigendecomposition. The empirical results of comprehensive experiments on synthetic and real-world datasets show that EIGNN has a better ability to capture long-range dependencies than recent baselines, and consistently achieves state-of-the-art performance. Furthermore, we show that our model is also more robust against both noise and adversarial perturbations on node features.

研究动机与目标

• 解决有限深度GNN因过度平滑和计算成本导致的长程依赖捕捉能力受限的问题。
• 克服现有隐式GNN模型（如IGNN）中迭代求解器存在的不稳定与低效问题。
• 开发一种可处理、可扩展且鲁棒的GNN框架，实现无收敛问题的无限深度消息传递。
• 通过特征分解提升计算效率，同时保持模型精度。

提出的方法

• 将EIGNN形式化为无限图卷积序列的极限，并证明其理论收敛性。
• 推导前向与反向传播的闭式解，消除对迭代求解器和投影梯度下降的依赖。
• 利用图转移矩阵的特征分解，在训练过程中降低计算与内存复杂度。
• 应用截断特征分解与图划分作为可扩展的预处理策略，以处理大规模图。
• 通过其无限深度的构造方式，使模型天然避免过度平滑。
• 通过闭式解确保端到端可微性与稳定性，支持可靠优化。

实验结果

研究问题

• RQ1 GNN模型能否在不依赖迭代求解器的情况下实现无限深度，若能，如何实现高效训练？
• RQ2 无限深度GNN的闭式解是否能比有限深度或迭代模型带来更优的长程依赖学习效果？
• RQ3 特征分解能否显著降低训练无限深度GNN的计算成本，同时不损失精度？
• RQ4 与现有GNN相比，EIGNN在特征噪声和对抗性扰动下的鲁棒性表现如何？
• RQ5 所提模型是否可扩展至大规模图？哪些预处理技术可缓解特征分解的成本？

主要发现

• 在具有不同链长的合成数据集上，EIGNN实现了最先进性能，优于所有基线模型，包括IGNN和APPNP。
• 在长链数据集上，即使链长达到100，EIGNN仍保持高测试准确率，而GCN和APPNP等基线模型性能显著下降。
• T检验的p值表明，EIGNN在所有链长下相较IGNN的性能提升均具有统计显著性（p < 0.001）。
• EIGNN展现出优越的鲁棒性，在特征噪声和对抗性扰动下均保持高性能，优于现有模型。
• 特征分解显著降低了计算复杂度，且截断特征分解被证明是处理大规模图的可行且高效的预处理步骤。
• EIGNN避免了IGNN中因迭代求解器近似解导致的非收敛与优化不稳定性问题。