[论文解读] Gradient Gating for Deep Multi-Rate Learning on Graphs

T. Konstantin Rusch, Benjamin Paul Chamberlain+3 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出梯度门控（G²），一种新颖的图神经网络（GNN）框架，通过实现多速率消息传递并利用局部梯度防止过度平滑，从而提升GNN性能。通过将任意标准GNN层封装在由节点特定速率和梯度调制的可学习门控中，G²支持训练极深的GNN，并在异配性图基准测试中，包括大规模数据集，实现了最先进性能。

ABSTRACT

We present Gradient Gating (G$^2$), a novel framework for improving the performance of Graph Neural Networks (GNNs). Our framework is based on gating the output of GNN layers with a mechanism for multi-rate flow of message passing information across nodes of the underlying graph. Local gradients are harnessed to further modulate message passing updates. Our framework flexibly allows one to use any basic GNN layer as a wrapper around which the multi-rate gradient gating mechanism is built. We rigorously prove that G$^2$ alleviates the oversmoothing problem and allows the design of deep GNNs. Empirical results are presented to demonstrate that the proposed framework achieves state-of-the-art performance on a variety of graph learning tasks, including on large-scale heterophilic graphs.

研究动机与目标

• 解决深度GNN中的过度平滑问题，即节点特征在各层间坍塌为相同值。
• 通过允许每个节点的可变更新速率，实现在异配性图上的高效学习，其中节点特征与其邻居不同。
• 通过一种灵活、即插即用的框架，提升GNN的泛化能力和可扩展性，且与现有MPNN兼容。
• 通过连续动力系统的分析，严格证明梯度门控可防止过度平滑。
• 在合成数据、基准数据集和大规模异配性图数据集上进行实证验证，证明G²性能优越。

提出的方法

• G²引入一种多速率消息传递机制，其中每个节点的更新由可学习的速率门控调制，允许图中不同位置的传播速度不同。
• 该框架利用损失函数的局部梯度动态调制门控机制，稳定训练过程中的特征表示。
• 任何标准GNN层（如GCN、GAT、GIN）均可作为基础耦合函数，使G²成为一种即插即用的增强方法。
• 该方法被解释为非线性常微分方程组的时间离散化形式，从而支持对稳定性和过度平滑性的理论分析。
• 推导出G²的连续极限，用于证明梯度门控可防止Dirichlet能量的坍塌，而Dirichlet能量是过度平滑的关键指标。
• 框架通过标准反向传播端到端训练，门控参数与模型参数联合优化。

实验结果

研究问题

• RQ1 多速率消息传递机制能否防止深度GNN中的过度平滑？
• RQ2 将局部梯度引入门控机制是否能稳定特征表示并提升泛化能力？
• RQ3 G²能否在大规模异配性图数据集上实现最先进性能？
• RQ4 是否存在G²的连续动力系统解释，使其能够进行严格的稳定性理论分析？
• RQ5 多速率门控机制在具有异质特征尺度的节点回归与分类任务中如何影响性能？

主要发现

• 通过连续ODE系统的稳定性分析，证明G²即使在数百层的情况下也能维持恒定的Dirichlet能量，从而防止过度平滑。
• 该框架支持训练极深的GNN，且准确率随深度增加而提升，表明在避免过度平滑的前提下，深度是有益的。
• 在特征尺度跨度较大的节点回归任务中，G²因多速率机制显著优于基线方法。
• 在异配性图上，G²实现了最先进性能，且随着异配性程度的提高，性能增益也越大。
• 在大规模异配性数据集上的实证结果表明，G²始终优于近期最先进方法，包括专为缓解过度挤压或过度平滑而设计的方法。
• 理论分析证实，若无梯度门控，系统极易发生过度平滑，从而验证了所提机制的必要性。