[论文解读] Graph Networks with Spectral Message Passing

Kimberly Stachenfeld, Jonathan Godwin+1 more|arXiv (Cornell University)|Dec 31, 2020

Computational Drug Discovery Methods参考文献 2被引用 5

一句话总结

该论文提出谱图网络（Spectral Graph Networks, SGNs），一种新颖的图神经网络（GNN）架构，通过在拉普拉斯特征向量上结合空间消息传递与谱消息传递，以改善长距离信息流动。通过将节点投影到特征向量上，并在谱域应用可学习的消息传递机制，SGNs 实现了更快的训练速度、对边丢弃更强的鲁棒性，以及在图 MNIST、分子性质预测和最短路径任务上的性能提升——尤其在低维或社区结构拓扑的图上表现更优。

ABSTRACT

Graph Neural Networks (GNNs) are the subject of intense focus by the machine learning community for problems involving relational reasoning. GNNs can be broadly divided into spatial and spectral approaches. Spatial approaches use a form of learned message-passing, in which interactions among vertices are computed locally, and information propagates over longer distances on the graph with greater numbers of message-passing steps. Spectral approaches use eigendecompositions of the graph Laplacian to produce a generalization of spatial convolutions to graph structured data which access information over short and long time scales simultaneously. Here we introduce the Spectral Graph Network, which applies message passing to both the spatial and spectral domains. Our model projects vertices of the spatial graph onto the Laplacian eigenvectors, which are each represented as vertices in a fully connected "spectral graph", and then applies learned message passing to them. We apply this model to various benchmark tasks including a graph-based variant of MNIST classification, molecular property prediction on MoleculeNet and QM9, and shortest path problems on random graphs. Our results show that the Spectral GN promotes efficient training, reaching high performance with fewer training iterations despite having more parameters. The model also provides robustness to edge dropout and outperforms baselines for the classification tasks. We also explore how these performance benefits depend on properties of the dataset.

研究动机与目标

• 解决空间 GNN 因依赖迭代消息传递而在捕捉长距离依赖关系方面存在的局限性。
• 将谱方法访问全局图结构的能力整合进一个可学习、可微的 GNN 框架中。
• 探究谱消息传递是否能提升模型性能、训练效率以及对边丢弃的鲁棒性。
• 评估在不同图拓扑中谱消息传递与空间消息传递的相对贡献。

提出的方法

• 该模型将输入图的节点投影到图拉普拉斯矩阵的前 K 个特征向量上，形成一个全连接的“谱图”。
• 在空间图和谱图上独立应用可学习的消息传递机制，以在节点和特征向量之间传播特征。
• 通过图网络（GN）框架更新节点特征，对空间和谱消息传递分别进行独立更新。
• 谱图通过拉普拉斯特征向量构建，其编码了诸如低频分量等全局结构信息。
• 模型使用可学习变换（U）来参数化谱域中的消息传递，从而支持端到端训练。
• 采用边丢弃和稀疏化策略评估鲁棒性，并与标准 GN 和 GCN 进行性能对比。

实验结果

研究问题

• RQ1 结合空间与谱消息传递是否能提升 GNN 在长距离关系推理方面的能力？
• RQ2 与标准空间 GNN 相比，谱消息传递是否能提升训练效率和对边丢弃的鲁棒性？
• RQ3 在不同图拓扑（如无标度图、社区结构图、低维图）中，模型性能与训练动态如何变化？
• RQ4 空间消息传递与谱消息传递对整体性能的相对贡献是什么？

主要发现

• 谱图 GN 在图 MNIST 上取得了高性能，尽管参数量更多，但训练迭代次数少于标准 GN 和 GCN。
• 在 MoleculeNet-HIV 上，U-GN 模型的 AUC 达到 0.769±0.015，优于基线 GN，接近当前最先进水平。
• 在 QM9 上，原始 GN 表现优于其他模型，且谱 GCN 在训练初期的 MAE 低于原始 GCN。
• 在 100% 边丢弃条件下，U-GN 在 13 个 QM9 目标中的 12 个上优于标准 GN，展现出极强的鲁棒性。
• 在随机 Delaunay 2D 图上，U-GN 性能随图规模增大而提升，表明谱消息传递有助于捕捉几何结构。
• 消融研究显示，移除空间消息传递会显著降低所有数据集上的性能，而谱消息传递的贡献则始终稳定，尤其在 2D Delaunay 图上表现突出。