[论文解读] From Local to Global: Spectral-Inspired Graph Neural Networks

Ningyuan Huang, Soledad Villar+5 more|arXiv (Cornell University)|Sep 24, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出 PowerEmbed，一种受谱方法启发的归一化技术，用于消息传递图神经网络（MPNNs），使其能够表示图算子的 top-k 特征向量，从而在避免过平滑和过压缩的同时捕捉全局谱信息。通过将 PowerEmbed 集成到类似 Inception 的架构中，该方法在同质图和异质图上均实现了最先进性能，尤其在长距离依赖学习方面表现优异，且不增加计算复杂度。

ABSTRACT

Graph Neural Networks (GNNs) are powerful deep learning methods for Non-Euclidean data. Popular GNNs are message-passing algorithms (MPNNs) that aggregate and combine signals in a local graph neighborhood. However, shallow MPNNs tend to miss long-range signals and perform poorly on some heterophilous graphs, while deep MPNNs can suffer from issues like over-smoothing or over-squashing. To mitigate such issues, existing works typically borrow normalization techniques from training neural networks on Euclidean data or modify the graph structures. Yet these approaches are not well-understood theoretically and could increase the overall computational complexity. In this work, we draw inspirations from spectral graph embedding and propose $ exttt{PowerEmbed}$ -- a simple layer-wise normalization technique to boost MPNNs. We show $ exttt{PowerEmbed}$ can provably express the top-$k$ leading eigenvectors of the graph operator, which prevents over-smoothing and is agnostic to the graph topology; meanwhile, it produces a list of representations ranging from local features to global signals, which avoids over-squashing. We apply $ exttt{PowerEmbed}$ in a wide range of simulated and real graphs and demonstrate its competitive performance, particularly for heterophilous graphs.

研究动机与目标

• 解决浅层和深层 MPNN 的局限性，如缺失长距离信号，以及遭受过平滑或过压缩的问题。
• 以理论坚实且计算高效的方式，将全局谱信息整合到局部 MPNN 中。
• 开发一种与图拓扑无关的归一化技术，使模型能够表达图算子的 top-k 特征向量。
• 提升在异质图上的性能，因为传统 MPNN 在此类图上通常表现不佳。
• 提供一种简单但强大的方法，弥合 GNN 中局部消息传递与全局谱表示之间的鸿沟。

提出的方法

• 提出 PowerEmbed，一种逐层归一化步骤，通过将节点表示按其隐藏状态在各层上的 l2-范数的倒数进行缩放，使模型能够近似图算子的 top-k 特征向量。
• 将 PowerEmbed 集成到多尺度的 Inception 风格架构中，该架构结合来自不同层的特征，实现局部与全局表示之间的插值。
• 利用归一化后的表示，同时保留局部邻域信号和全局谱结构，避免过平滑和过压缩。
• 将该方法应用于合成图和真实世界图，包括随机块模型以及 Cora、Citeseer 和 Photo 等基准数据集。
• 理论上证明，无论图的拓扑结构如何，PowerEmbed 均可显式表达图算子的 top-k 主特征向量。
• 利用谱分解的洞见，指导设计一种对图结构不变且在同质与异质设置中均鲁棒的归一化方法。

实验结果

研究问题

• RQ1 在 MPNN 中，一种简单的归一化技术是否能使模型表达图算子的 top-k 特征向量？
• RQ2 通过 PowerEmbed 引入全局谱信息，是否能提升在 MPNN 通常表现不佳的异质图上的性能？
• RQ3 PowerEmbed 是否能在不增加计算复杂度的前提下，防止深层 GNN 中的过平滑和过压缩？
• RQ4 通过 Inception 风格架构结合局部消息传递与全局谱信息，对表示质量有何影响？
• RQ5 所提出的方法在不同图拓扑结构（包括稀疏图和稠密图）上是否具有鲁棒性？

主要发现

• PowerEmbed 使 MPNN 能够在理论上表达图算子的 top-k 主特征向量，为捕捉全局结构提供了理论基础。
• 在 Cora 和 Citeseer 等同质图上，PowerEmbed 分别实现了 81.69% ± 0.50 和 69.67% ± 0.63 的竞争性准确率，优于基线 MPNN 和谱基线方法 ASE 与 Cov(X)。
• 在异质图 Photo 和 Computers 数据集上，PowerEmbed 在 10 次迭代下分别达到 93.84% ± 0.17 和 90.34% ± 0.22 的准确率，显著优于标准 GCN 和 GAT。
• 基于 Inception 的变体（SGC(Incep)-10）在 Photo 上达到 94.65% ± 0.18，在 Computers 上达到 90.61% ± 0.16，证明了结合局部与全局信号的有效性。
• 使用随机游走或拉普拉斯归一化（Power(RW)-10, Power(Lap)-10）的 PowerEmbed 在所有数据集上均持续优于标准 MPNN 和基线 GNN。
• 该方法计算高效，除归一化步骤外无需架构修改，因此可轻松集成到现有 GNN 框架中。