[论文解读] Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence

Yuankai Luo, Lei Shi+1 more|ArXiv.org|Feb 13, 2025

IoT and Edge/Fog Computing被引用 3

一句话总结

该论文显示，经典 GNNs 在通过 GNN + 框架增强（边特征、归一化、 dropout、残差、FFN 和位置编码）后，能够在多项基准测试的图级任务上达到顶尖表现，媲美或超越最先进的图 Transformers，同时更高效。

ABSTRACT

Message-passing Graph Neural Networks (GNNs) are often criticized for their limited expressiveness, issues like over-smoothing and over-squashing, and challenges in capturing long-range dependencies. Conversely, Graph Transformers (GTs) are regarded as superior due to their employment of global attention mechanisms, which potentially mitigate these challenges. Literature frequently suggests that GTs outperform GNNs in graph-level tasks, especially for graph classification and regression on small molecular graphs. In this study, we explore the untapped potential of GNNs through an enhanced framework, GNN+, which integrates six widely used techniques: edge feature integration, normalization, dropout, residual connections, feed-forward networks, and positional encoding, to effectively tackle graph-level tasks. We conduct a systematic re-evaluation of three classic GNNs (GCN, GIN, and GatedGCN) enhanced by the GNN+ framework across 14 well-known graph-level datasets. Our results reveal that, contrary to prevailing beliefs, these classic GNNs consistently match or surpass the performance of GTs, securing top-three rankings across all datasets and achieving first place in eight. Furthermore, they demonstrate greater efficiency, running several times faster than GTs on many datasets. This highlights the potential of simple GNN architectures, challenging the notion that complex mechanisms in GTs are essential for superior graph-level performance. Our source code is available at https://github.com/LUOyk1999/GNNPlus.

研究动机与目标

• 通过引入成熟的训练技术，激发并研究经典 GNNs 在图级任务中的潜力与优势。
• 系统评估 GCN、GIN 和 GatedGCN 在 GNN + 框架下在多种图级数据集上的表现。
• 通过消融研究分析每种技术（边特征、归一化、dropout、残差、FFN、位置编码）的贡献。

提出的方法

• 提出 GNN +，将六种技术整合到经典 GNNs 的增强框架。
• 在消息传递中加入边特征，并添加可训练的边特征模块。
• 应用归一化（BatchNorm）和 dropout 以稳定训练并降低过拟合。
• 引入残差连接以实现更深的结构（3–20 层）。
• 在每一层后附加一个前馈网络（FFN）以提升表达能力。
• 在学习前加入位置编码（RWSE），以注入图结构信息。

实验结果

研究问题

• RQ1 当以 GNN + 增强时，经典 GNNs（GCN、GIN、GatedGCN）是否能达到图级任务的 SOTA 性能？
• RQ2 每个 GNN + 组件（边特征、归一化、dropout、残差、FFN、位置编码）对性能的影响如何？
• RQ3 增强后的经典 GNNs 是否在多个图级基准测试（GNN Benchmark、LRBG、OGB）上达到与 Graph Transformers 相当甚至更高的排名？
• RQ4 在大型图级数据集上，增强 GNNs 相对于 Graph Transformers 的相对效率如何？

主要发现

• 对 GCN、GIN 和 GatedGCN 的增强版本在所有 14 个图级数据集上均达到前三名；在 8 个数据集上获得第一名。
• 在 ZINC、PATTERN 和 CLUSTER 数据集上，GNN + 显著提升；在 MNIST 和 CIFAR 上，GatedGCN + 在基线方法中取得最佳结果。
• 在 LRBG 数据集上，GCN + 与 GatedGCN + 展现出强劲表现，GatedGCN + 在 MalNet-Tiny 上取得第一名，在 PascalVOC-SP 和 COCO-SP 上也有显著提升。
• 在 Open Graph Benchmark (OGB) 数据集上，GatedGCN + 位列前三，ogbg-ppa 获得第一，在 ogbg-molhiv 和 ogbg-molpcba 上具有竞争力的表现。
• 消融研究表明，移除边特征、归一化、dropout、残差、FFN 或位置编码通常会降低性能，凸显了它们的贡献。
• 总体而言，经过 GNN + 调整的经典 GNNs 能达到甚至超过 SOTA Graph Transformers，同时提供更高的效率。