[论文解读] A New Perspective on the Effects of Spectrum in Graph Neural Networks

Mingqi Yang, Yanming Shen+4 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Graph Neural Networks被引用 8

一句话总结

本文 identifies谱平滑性作为GNN性能的关键因素，表明非平滑谱会导致信号相关性，从而限制滤波器的表达能力和深度。作者提出一种无相关性的架构，采用可学习、谱优化的图矩阵，使模型更深、更稳定，并在图表示学习任务上显著提升性能。

ABSTRACT

Many improvements on GNNs can be deemed as operations on the spectrum of the underlying graph matrix, which motivates us to directly study the characteristics of the spectrum and their effects on GNN performance. By generalizing most existing GNN architectures, we show that the correlation issue caused by the $unsmooth$ spectrum becomes the obstacle to leveraging more powerful graph filters as well as developing deep architectures, which therefore restricts GNNs' performance. Inspired by this, we propose the correlation-free architecture which naturally removes the correlation issue among different channels, making it possible to utilize more sophisticated filters within each channel. The final correlation-free architecture with more powerful filters consistently boosts the performance of learning graph representations. Code is available at https://github.com/qslim/gnn-spectrum.

研究动机与目标

• 研究谱特性在GNN性能中的作用，特别是非平滑谱如何导致信号相关性并引发性能下降。
• 识别出现有GNN受限于缓解相关性与应用强大图滤波器之间的权衡。
• 提出一种新架构，将相关性问题与滤波器设计解耦，从而支持更复杂的滤波器。
• 通过重新定义图矩阵基以支持更高阶谱分量，提升多项式滤波器的逼近能力。
• 通过谱感知矩阵设计，提升模型在不同深度和随机种子下的稳定性和性能。

提出的方法

• 提出一种无相关性架构，通过引入通道独立的图卷积操作，将滤波器设计与谱相关性解耦。
• 引入一种新的图矩阵表示 $\tilde{A}_{\rho}$，由参数 $\rho$ 参数化，其谱特性比标准归一化邻接矩阵更平滑、更具可控性。
• 在 $\tilde{A}_{\rho}$ 上应用可学习的滤波器系数，提升对复杂图滤波器的逼近能力。
• 用 $\tilde{A}_{\rho}$ 替代标准 $\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$，以提升谱基的多样性并支持更高阶多项式基。
• 将新架构应用于节点分类和图分类任务，比较不同深度、滤波器阶数和随机种子下的性能表现。
• 开展消融实验，评估 $\rho$、$k$ 和矩阵选择对模型稳定性和泛化能力的影响。

实验结果

研究问题

• RQ1 图矩阵的谱平滑性如何影响信号相关性和GNN性能？
• RQ2 为何现有GNN尽管理论上具备表达能力，却无法充分利用更强大的滤波器？
• RQ3 能否通过将相关性问题与滤波器设计解耦，实现更深、更高效的GNN架构？
• RQ4 不同图矩阵表示如何影响多项式滤波器的逼近能力？
• RQ5 谱平滑性在不同随机种子和深度设置下的模型稳定性中起什么作用？

主要发现

• 采用 $\tilde{A}_{\rho}$ 的无相关性架构在ZINC数据集上测试MAE低于0.07，优于共享滤波器基线（0.150）及其他变体。
• idp + $\tilde{A}_{\rho}$ 配置的MAE接近0.088，显著低于0.11的基线水平。
• 在无相关性设置中，多项式阶数 $k$ 的提升持续改善性能，而共享滤波器设置中性能增益趋于饱和。
• 无相关性模型在高达25层的深度下仍保持稳定性能，而共享滤波器模型在20层后性能急剧下降。
• $\tilde{A}_{\rho}$ 和 $\tilde{D}^{\epsilon}\tilde{A}\tilde{D}^{\epsilon}$ 的运行标准差低于0.01，而 $\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$ 的标准差超过0.02，表明前者具有更优的稳定性。
• 当 $\rho=1/6, k=18$ 时，MAE最低，表明控制 $\rho \times k$ 可更有效地利用高阶谱基。