[论文解读] Graph Neural Networks Inspired by Classical Iterative Algorithms

Yongyi Yang, Tang Liu+7 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Graph Neural Networks参考文献 59被引用 13

一句话总结

本文提出TWIRLS，一种新颖的图神经网络框架，将消息传递GNN与近端梯度下降及迭代重加权最小二乘法（IRLS）统一，构建出一种鲁棒且透明的架构。通过将经典迭代算法展开为GNN层，TWIRLS实现了对过平滑的免疫，能够处理长距离依赖，并在边不确定性下保持性能，在对抗性、异配性及长依赖图上均优于SOTA模型。

ABSTRACT

Despite the recent success of graph neural networks (GNN), common architectures often exhibit significant limitations, including sensitivity to oversmoothing, long-range dependencies, and spurious edges, e.g., as can occur as a result of graph heterophily or adversarial attacks. To at least partially address these issues within a simple transparent framework, we consider a new family of GNN layers designed to mimic and integrate the update rules of two classical iterative algorithms, namely, proximal gradient descent and iterative reweighted least squares (IRLS). The former defines an extensible base GNN architecture that is immune to oversmoothing while nonetheless capturing long-range dependencies by allowing arbitrary propagation steps. In contrast, the latter produces a novel attention mechanism that is explicitly anchored to an underlying end-to-end energy function, contributing stability with respect to edge uncertainty. When combined we obtain an extremely simple yet robust model that we evaluate across disparate scenarios including standardized benchmarks, adversarially-perturbated graphs, graphs with heterophily, and graphs involving long-range dependencies. In doing so, we compare against SOTA GNN approaches that have been explicitly designed for the respective task, achieving competitive or superior node classification accuracy. Our code is available at https://github.com/FFTYYY/TWIRLS.

研究动机与目标

• 解决消息传递GNN的关键局限，包括过平滑、对虚假边的敏感性，以及在异配性或对抗性攻击下的性能下降问题。
• 开发一种透明且基于原理的GNN架构，以经典迭代优化算法为基础，提升可解释性与泛化能力。
• 通过基于能量的优化，整合传播与注意力机制，统一设计并提供理论保证。
• 在多样化图场景下（标准基准、对抗性扰动、异配性及长距离依赖）实现竞争力或更优的性能，且无需针对特定任务调整架构。

提出的方法

• 将近端梯度下降的迭代过程展开为GNN主干，通过图正则化的能量函数，实现任意传播步数而无过平滑问题。
• 在GNN层中集成基于IRLS的注意力机制，其中注意力权重由最小化有原则的能量函数的重加权函数导出。
• 将整个架构锚定于统一的目标函数，平衡数据保真度与图平滑性，确保在边不确定性下的稳定性。
• 采用单一、端到端可微分框架，每一层对应优化算法的一轮迭代，实现透明且可扩展的训练。
• 利用IRLS框架生成天然对边扰动鲁棒的注意力机制，且无需额外参数或启发式规则。
• 将近端GNN主干与IRLS注意力结合，形成TWIRLS，一种统一模型，可在多种图场景下保持高性能。

实验结果

研究问题

• RQ1 基于经典迭代优化算法构建的GNN架构，是否能在捕捉长距离依赖的同时实现对过平滑的鲁棒性？
• RQ2 将基于IRLS的注意力机制整合到GNN中，能否提升在边不确定性与对抗性扰动下的鲁棒性？
• RQ3 统一且基于原理的能量函数在不牺牲性能的前提下，能在多大程度上统一GNN中的传播与注意力机制？
• RQ4 基于展开迭代算法的GNN模型，是否能在对抗性鲁棒性或异配性方面超越专门设计的SOTA模型？
• RQ5 基于优化的透明GNN设计，是否能在无需针对特定任务调整架构的前提下，泛化到多样化图场景？

主要发现

• 在Cora数据集上，TWIRLS在对抗性攻击（20%边扰动）下达到70.23%的准确率，在Citeseer上达到70.63%，优于GNNGuard和GNN-SVD等SOTA防御方法。
• 在异配性图（如Actor、Cornell、Texas、Wisconsin）上，TWIRLS在四个数据集中的三个上达到SOTA准确率，性能持续优于GCN、GAT与H₂GCN。
• 在Amazon共购数据集上，TWIRLS优于专门设计的长距离模型SSE与IGNN，展现出在任意传播深度下的稳定性能。
• 基于IRLS的注意力机制显著提升了基础TWIRLS模型的性能，尤其在低同配性与对抗性设置下。
• 即使在大量传播层下，模型仍保持高准确率，证实了由于近端梯度下降主干带来的对过平滑的免疫。
• 所提出的框架在多样化图场景下泛化良好，在无需为每种特定场景调整架构的前提下，实现竞争力或更优的结果。