[论文解读] Improving Graph Neural Networks with Learnable Propagation Operators

Moshe Eliasof, Lars Ruthotto+1 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出 ω GNN，一种可学习的传播算子框架，通过引入通道自适应的可训练权重 ω，混合平滑与锐化传播算子，增强图神经网络（GNNs）的性能。通过支持混合符号算子和通道独立学习，ω GNN 防止了过平滑现象并提升了表达能力，在 15 个真实世界数据集上的节点分类与图分类任务中均取得了最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) are limited in their propagation operators. In many cases, these operators often contain non-negative elements only and are shared across channels, limiting the expressiveness of GNNs. Moreover, some GNNs suffer from over-smoothing, limiting their depth. On the other hand, Convolutional Neural Networks (CNNs) can learn diverse propagation filters, and phenomena like over-smoothing are typically not apparent in CNNs. In this paper, we bridge these gaps by incorporating trainable channel-wise weighting factors $ω$ to learn and mix multiple smoothing and sharpening propagation operators at each layer. Our generic method is called $ω$GNN, and is easy to implement. We study two variants: $ω$GCN and $ω$GAT. For $ω$GCN, we theoretically analyse its behaviour and the impact of $ω$ on the obtained node features. Our experiments confirm these findings, demonstrating and explaining how both variants do not over-smooth. Additionally, we experiment with 15 real-world datasets on node- and graph-classification tasks, where our $ω$GCN and $ω$GAT perform on par with state-of-the-art methods.

研究动机与目标

• 解决标准 GNN 使用固定、非负传播算子导致的过平滑与表达能力下降问题。
• 通过引入类似 CNN 中深度可分离卷积的可学习、多样化传播滤波器，弥合 GNN 与 CNN 之间的差距。
• 通过可学习权重 ω 学习并混合平滑与锐化算子，克服深层 GNN 中的过平滑问题。
• 通过引入可学习的通道自适应加权因子，实现传播算子的灵活混合，增强 GNN 的表达能力。
• 通过两种变体 ω GCN 和 ω GAT，在多样化的真实世界数据集上验证 ω GNN 的有效性。

提出的方法

• 引入可学习的加权因子 ω，控制每一层中多个传播算子的贡献，实现平滑与锐化效应的动态混合。
• 将 ω GNN 建模为标准 GNN 层的泛化形式：f^{(l+1)} = σ(S^{(l)} f^{(l)} K^{(l)}），其中 S^{(l)} 被替换为基算子的可学习、通道自适应加权组合。
• 实现两种变体：ω GCN 使用对称归一化邻接矩阵作为基算子，ω GAT 使用多头注意力作为基算子。
• 在每一通道和层上应用带有可学习权重 ω^{(l)} 的 1×1 卷积，混合不同传播算子的贡献，模拟深度可分离卷积。
• 使用标准反向传播进行端到端训练，使 ω 自适应学习每一层和通道的最优算子混合。
• 理论分析表明，ω 随深度呈 1/L 的缩放关系，通过保持各层间特征多样性，防止过平滑。

实验结果

研究问题

• RQ1 可学习的、通道自适应的加权因子 ω 是否能通过支持混合符号传播算子，在深层 GNN 中防止过平滑？
• RQ2 与固定、非负传播算子相比，引入可学习的 ω 在多大程度上提升了 GNN 的表达能力？
• RQ3 ω GNN 在多样化的节点分类与图分类基准上的性能与当前最先进 GNN 方法相比如何？
• RQ4 ω 的缩放行为（如 ω ∝ 1/L）是否与理论预测一致，并有助于深层架构中的稳定训练？
• RQ5 ω GNN 是否能在不同 GNN 架构（如 GCN 与 GAT）上实现泛化，同时保持性能与鲁棒性？

主要发现

• ω GNN 变体（ω GCN 与 ω GAT）在 15 个真实世界数据集上取得最先进性能，包括在 TUDatasets 上取得 PTC 95.2% 与 MUTAG 94.6% 的 SOTA 准确率。
• 消融研究证实 ω GNN 防止了过平滑：准确率随深度保持稳定或提升，而标准 GNN 在层数增加时性能下降。
• 平均 ω 值在各层中呈 1/L 缩放，验证了理论预测：ω 随深度减小，以维持特征多样性并避免过平滑。
• ω GCN 在 Cora 数据集上使用 64 层达到 85.9% 准确率，展现出对深度的鲁棒性，而标准 GNN 通常在 8–16 层后出现过平滑。
• 学习到的 ω 值使网络能够混合平滑与锐化算子，可视化与理论分析均表明其可提升特征表示能力，超越非负算子的表达极限。
• ω GAT 在多数基准上优于 ω GCN，分别在 NCI1 上取得 84.4% 准确率与在 NCI109 上取得 83.6% 准确率，表明注意力机制在算子混合中的有效性。