[论文解读] FoSR: First-order spectral rewiring for addressing oversquashing in GNNs

Kedar Karhadkar, Pradeep Banerjee+1 more|arXiv (Cornell University)|Oct 21, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

FoSR 提出了一种一阶谱重连方法，通过迭代添加边来最大化图的谱间隙，从而在保持原始图结构的同时减少图神经网络（GNN）中的过度压缩问题。该方法利用关系型架构防止过平滑。实验结果表明，FoSR 在多个图分类基准上优于现有方法，在 REDDIT-BINARY 和 COLLAB 等数据集上达到了最先进性能。

ABSTRACT

Graph neural networks (GNNs) are able to leverage the structure of graph data by passing messages along the edges of the graph. While this allows GNNs to learn features depending on the graph structure, for certain graph topologies it leads to inefficient information propagation and a problem known as oversquashing. This has recently been linked with the curvature and spectral gap of the graph. On the other hand, adding edges to the message-passing graph can lead to increasingly similar node representations and a problem known as oversmoothing. We propose a computationally efficient algorithm that prevents oversquashing by systematically adding edges to the graph based on spectral expansion. We combine this with a relational architecture, which lets the GNN preserve the original graph structure and provably prevents oversmoothing. We find experimentally that our algorithm outperforms existing graph rewiring methods in several graph classification tasks.

研究动机与目标

• 为解决 GNN 中的过度压缩问题，该问题由于图拓扑中的结构性瓶颈而限制了长距离信息传递。
• 克服通过添加边来重连图时出现的过度压缩与过平滑之间的权衡。
• 开发一种计算高效的重连策略，以增强谱扩展性而不损失原始拓扑信息。
• 通过集成能区分原始边与重连边的关系型消息传递机制，为防止过平滑提供理论保证。
• 通过实证验证，基于一阶优化的谱间隙最大化可提升标准图分类基准上 GNN 的性能。

提出的方法

• FoSR 使用一阶优化方法，迭代添加能最大化图谱间隙的边，从而提升连通性并减少结构性瓶颈。
• 该方法基于谱间隙作为目标函数，对边权重进行基于梯度的更新，实现高效且可扩展的重连。
• 采用关系型 GNN 架构，其中重连的边被赋予不同的类型，使 GNN 在消息传递过程中能够区分它们与原始边。
• 通过保留所有原始边并仅添加新边，该方法保持了原始图结构，从而维持了拓扑保真度。
• 谱间隙通过 Fiedler 值（拉普拉斯矩阵的第二小特征值）计算，其梯度用于指导边的添加。
• 该算法迭代执行，每一步选择能使谱间隙增加最大的边添加操作。

实验结果

研究问题

• RQ1 对谱间隙进行一阶优化是否能有效减少 GNN 中的过度压缩，同时不损害模型表达能力？
• RQ2 通过添加边来提升谱扩展性是否能带来图分类任务中更好的泛化性能？
• RQ3 当应用大量图重连时，关系型 GNN 架构是否能有效防止过平滑？
• RQ4 与 SDRF 和 G-RLEF 等现有重连方法相比，FoSR 在多样化图数据集上的性能和鲁棒性如何？
• RQ5 谱间隙最大化对 GNN 的训练动态和收敛性有何影响？

主要发现

• 在 REDDIT-BINARY 数据集上，FoSR 在所有方法中取得了最高测试准确率，使用 R-GCN 时达到 76.590±0.531%，显著优于 SDRF（58.620±0.647%）和基线模型（49.850±0.653%）。
• 在 COLLAB 数据集上，FoSR 使用 R-GCN 达到 70.650±0.482% 的准确率，显著优于基线模型（33.602±1.047%）和 SDRF（67.990±0.386%）。
• 在 GIN 架构中，FoSR 在 REDDIT-BINARY 上达到 89.665±0.416% 的准确率，超过次优方法 SDRF（86.825±0.523%）和基线模型（86.785±1.056%）。
• 在 PROTEINS 数据集上，FoSR 使用 R-GIN 达到 74.670±0.692% 的准确率，优于 SDRF（70.696±0.815%）和基线模型（70.500±0.809%）。
• 该方法在所有测试的 GNN 架构（R-GCN、GIN、R-GIN）和数据集上均持续提升性能，展现出强鲁棒性和泛化能力。
• 谱间隙随每次重连迭代而增加，且与训练准确率的提升呈正相关，验证了该方法设计原理的有效性。