[论文解读] Elastic Graph Neural Networks

Xiaorui Liu, Wei Jin+6 more|arXiv (Cornell University)|Jul 5, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出弹性图神经网络（Elastic GNNs），一种新型图神经网络家族，通过整合基于ℓ₁和ℓ₂的图平滑技术，提升局部平滑适应性。通过推导一种新的消息传递机制——弹性消息传递（EMP），该方法实现了理论收敛性，并在对抗性攻击下表现出更强鲁棒性，在半监督学习基准任务上优于标准ℓ₂-based GNNs。

ABSTRACT

While many existing graph neural networks (GNNs) have been proven to perform $\ell_2$-based graph smoothing that enforces smoothness globally, in this work we aim to further enhance the local smoothness adaptivity of GNNs via $\ell_1$-based graph smoothing. As a result, we introduce a family of GNNs (Elastic GNNs) based on $\ell_1$ and $\ell_2$-based graph smoothing. In particular, we propose a novel and general message passing scheme into GNNs. This message passing algorithm is not only friendly to back-propagation training but also achieves the desired smoothing properties with a theoretical convergence guarantee. Experiments on semi-supervised learning tasks demonstrate that the proposed Elastic GNNs obtain better adaptivity on benchmark datasets and are significantly robust to graph adversarial attacks. The implementation of Elastic GNNs is available at \url{https://github.com/lxiaorui/ElasticGNN}.

研究动机与目标

• 为解决现有 GNNs 通过 ℓ₂ 基图平滑强制实施全局统一平滑性所带来的局限性。
• 通过引入基于 ℓ₁ 的图平滑，提升局部平滑适应性，更好地保留不连续性，并支持分段多项式信号估计。
• 设计一种与反向传播兼容且适用于深层 GNNs 的消息传递机制。
• 确保对不同节点度数的合理归一化，这一挑战在以往图总变差与趋势滤波方法中常被忽视。
• 证明 ℓ₁ 与 ℓ₂ 平滑具有互补性，从而构建更具通用性与鲁棒性的 GNN 架构。

提出的方法

• 提出一种结合 ℓ₂ 与 ℓ₁ 范数的新图信号去噪公式：min_F ||F - X_in||_F² + λ₁·||ΔF||₁ + λ₂·tr(FᵀLF)，其中 ΔF 捕获节点间差异。
• 通过非光滑耦合目标的高效优化求解器，推导出一种新颖的消息传递机制——弹性消息传递（EMP）。
• 采用前向-后向分裂算法求解优化问题，确保收敛性并兼容反向传播。
• 引入归一化步骤以处理节点度数差异，提升稳定性与泛化能力。
• 将 EMP 集成至深层神经网络，构建 Elastic GNNs，支持端到端训练。
• 采用结合 ℓ₂ 与 ℓ₁ 正则化的混合损失，以同时促进全局平滑性与局部适应性。

实验结果

研究问题

• RQ1 与标准 ℓ₂ 基图平滑相比，基于 ℓ₁ 的图平滑是否能提升 GNN 中的局部平滑适应性？
• RQ2 能否设计一种基于 ℓ₁ 正则化图平滑的消息传递机制，使其仍与反向传播及深度学习兼容？
• RQ3 ℓ₁ 与 ℓ₂ 正则化的整合如何影响对图对抗性攻击的鲁棒性？
• RQ4 传播步数对所提消息传递机制性能与收敛性有何影响？
• RQ5 所提方法是否实现沿边的节点差异稀疏化，表明其如预期般呈现分段常数信号行为？

主要发现

• 与 APPNP 等 ℓ₂ 基 GNNs 相比，Elastic GNNs 在半监督节点分类基准数据集（Cora、CiteSeer、PubMed）上实现显著更优的性能。
• 该方法在对抗性攻击下表现出更优鲁棒性，在图结构扰动下仍能保持高准确率。
• Elastic GNNs 中节点差异的稀疏率分别达到 37%（Cora）、74%（CiteSeer）和 42%（PubMed），表明其具有强分段常数信号行为。
• 在 Cora 数据集中，错误边与正确边的平均节点差异比值由 APPNP 的 1.57 提升至 Elastic GNN 的 2.03，表明特征分离能力显著增强。
• EMP 优化过程中目标值在前向传播阶段单调下降，证实了定理 1 所保证的收敛性。
• 少量传播步数（K）即可实现高性能，表明计算成本低且表征学习效率高。