[论文解读] Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks

Frederik Wenkel, Yimeng Min+3 more|arXiv (Cornell University)|Jan 22, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

该论文提出了一种混合图神经网络框架，将传统的GCN滤波器与基于几何散射的带通滤波器相结合，以克服GCN中的过度平滑和欠传播问题。通过整合基于散射的高频特征提取与注意力机制，该方法提升了节点和图级别的表征学习能力，在节点分类和回归基准测试中实现了最先进性能，尤其在低同质性设置下表现优异。

ABSTRACT

Geometric deep learning has made great strides towards generalizing the design of structure-aware neural networks from traditional domains to non-Euclidean ones, giving rise to graph neural networks (GNN) that can be applied to graph-structured data arising in, e.g., social networks, biochemistry, and material science. Graph convolutional networks (GCNs) in particular, inspired by their Euclidean counterparts, have been successful in processing graph data by extracting structure-aware features. However, current GNN models are often constrained by various phenomena that limit their expressive power and ability to generalize to more complex graph datasets. Most models essentially rely on low-pass filtering of graph signals via local averaging operations, leading to oversmoothing. Moreover, to avoid severe oversmoothing, most popular GCN-style networks tend to be shallow, with narrow receptive fields, leading to underreaching. Here, we propose a hybrid GNN framework that combines traditional GCN filters with band-pass filters defined via geometric scattering. We further introduce an attention framework that allows the model to locally attend over combined information from different filters at the node level. Our theoretical results establish the complementary benefits of the scattering filters to leverage structural information from the graph, while our experiments show the benefits of our method on various learning tasks.

研究动机与目标

• 解决GCN中的过度平滑问题，即由于过度低通滤波，经过多层后节点表征变得不可区分。
• 通过使模型能够捕捉超出局部感受野的长程依赖关系和全局图结构，缓解欠传播问题。
• 通过基于几何散射的带通滤波集成，增强模型的表达能力，以捕捉高频结构信息。
• 开发一种混合架构，将GCN风格的低通滤波器与基于散射的带通滤波器相结合，以改善节点级别和图级别的表征学习。
• 在半监督节点分类和图级别回归任务上验证所提框架的有效性。

提出的方法

• 提出一种混合GNN框架，将标准GCN滤波器与通过图小波和逐点非线性迭代级联构建的几何散射滤波器相结合。
• 采用一种新型注意力机制，允许在GCN和散射滤波器的组合特征上进行节点级别注意力，实现低频与高频信息的自适应融合。
• 利用几何散射变换提取对图拓扑敏感的结构特征，尤其在捕捉长程依赖关系和高频模式方面表现优异。
• 采用两阶段架构：首先，散射层提取多尺度结构特征；其次，图残差卷积层通过可学习注意力聚合信息。
• 在图级别分类任务中使用Set2Set池化层后接MLP，在回归任务中使用平均池化加MLP。
• 提供消融基线，包括仅使用散射的模型（Sc-only）和标准GCN/GAT模型，用于对比评估。

实验结果

研究问题

• RQ1 将GCN风格的低通滤波器与基于散射的带通滤波器结合，能否提升图神经网络中的表征学习能力？
• RQ2 所提出的混合架构是否能有效减少过度平滑，同时在节点分类任务中保持或提升性能？
• RQ3 在多种滤波类型上使用注意力机制，在多大程度上提升了模型的泛化能力，特别是在低同质性图设置下？
• RQ4 与最先进模型相比，混合散射-GNN框架在图级别分类和回归任务中的表现如何？
• RQ5 几何散射滤波器能否提供GCN单独无法捕捉的互补结构信息？

主要发现

• Sc-GCN在COLLAB数据集上达到70.4%的测试准确率，在IMDB-BINARY上达到76.0%，优于GCN（59.2%和71.0%）和GAT（52.3%和63.2%），表明对过度平滑具有更强鲁棒性。
• GSAN在ZINC数据集上测试误差为43.0，在Lipophilicity上为1.02，优于GCN（46.9和1.05）和GAT（46.3和0.950），在图级别回归任务中表现强劲。
• 仅使用散射的基线模型（Sc-only）在COLLAB上达到64.0%，在IMDB-BINARY上达到71.0%，表明散射特征本身有效，但效果不如混合方法。
• 在低同质性设置下，混合GSAN框架显著优于所有基线，凸显其捕捉长程依赖关系和结构复杂性的能力。
• 理论分析证实，当节点特征编码结构信息时，散射滤波器比标准GCN滤波器对图拓扑更敏感。
• 实证结果表明，对GCN和散射特征的组合进行注意力机制处理，能带来更好的泛化能力，尤其在复杂且非同质化的图中。