[논문 리뷰] Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence

Yuankai Luo, Lei Shi외 1명|ArXiv.org|2025. 02. 13.

IoT and Edge/Fog Computing인용 수 3

한 줄 요약

이 논문은 고전 GNN이 GNN + 프레임워크(엣지 피처, 정규화, 드롭아웃, 잔차, FFN, 위치 인코딩)로 강화되면 여러 벤치마크에서 그래프 수준 작업에 대해 최상 성능에 근접하거나 이를 능가하며, 상태-오브-더-아트(Graph Transformers)와 다투면서도 더 효율적임을 보여준다.

ABSTRACT

Message-passing Graph Neural Networks (GNNs) are often criticized for their limited expressiveness, issues like over-smoothing and over-squashing, and challenges in capturing long-range dependencies. Conversely, Graph Transformers (GTs) are regarded as superior due to their employment of global attention mechanisms, which potentially mitigate these challenges. Literature frequently suggests that GTs outperform GNNs in graph-level tasks, especially for graph classification and regression on small molecular graphs. In this study, we explore the untapped potential of GNNs through an enhanced framework, GNN+, which integrates six widely used techniques: edge feature integration, normalization, dropout, residual connections, feed-forward networks, and positional encoding, to effectively tackle graph-level tasks. We conduct a systematic re-evaluation of three classic GNNs (GCN, GIN, and GatedGCN) enhanced by the GNN+ framework across 14 well-known graph-level datasets. Our results reveal that, contrary to prevailing beliefs, these classic GNNs consistently match or surpass the performance of GTs, securing top-three rankings across all datasets and achieving first place in eight. Furthermore, they demonstrate greater efficiency, running several times faster than GTs on many datasets. This highlights the potential of simple GNN architectures, challenging the notion that complex mechanisms in GTs are essential for superior graph-level performance. Our source code is available at https://github.com/LUOyk1999/GNNPlus.

연구 동기 및 목표

• 고전 GNN이 정립된 학습 기술로 강화될 때 그래프 수준 작업에서 우수할 수 있는지 동기를 부여하고 조사한다.
• 다양한 그래프 수준 데이터셋에 걸쳐 GNN + 프레임워크 하에서 GCN, GIN, GatedGCN을 체계적으로 평가한다.
• 엣지 피처, 정규화, 드롭아웃, 잔차, FFN, 위치 인코딩 등 각 기술의 기여도를 제거 실험(ablation studies)을 통해 분석한다.

제안 방법

• 고전 GNN에 여섯 가지 기술을 결합한 확장 프레임워크 GNN +를 도입한다.
• 메시지 패싱에 엣지 피처를 도입하고 학습 가능한 엣지 피처 모듈을 추가한다.
• 정규화(BatchNorm)와 드롭아웃을 적용하여 학습을 안정시키고 과적합을 줄인다.
• 깊은 아키텍처(3–20 레이어)를 가능하게 하도록 잔차 연결을 포함한다.
• 각 레이어에 FFN을 추가하여 표현력을 높인다.
• 학습 전에 그래프 구조 정보를 주입하기 위해 위치 인코딩(RWSE)을 추가한다.

실험 결과

연구 질문

• RQ1 고전 GNN(GCN, GIN, GatedGCN)이 GNN +로 보강되었을 때 그래프 수준 작업에서 SOTA 성능에 도달할 수 있는가?
• RQ2 각 GNN + 구성요소(엣지 피처, 정규화, 드롭아웃, 잔차, FFN, 위치 인코딩)가 성능에 미치는 영향은?
• RQ3 향상된 고전 GNN이 그래프 트랜스포머(Graph Transformers)와 비교하여 GNN Benchmark, LRBG, OGB 등 여러 그래프 수준 벤치마크에서 최상위 순위를 차지하는가?
• RQ4 대규모 그래프 수준 데이터셋에서 향상된 GNN과 Graph Transformers의 상대적 효율성은 어떠한가?

주요 결과

• GCN, GIN, GatedGCN의 확장 버전은 모든 14개 그래프 수준 데이터셋에서 상위 3위에 올랐고 여덟 개 데이터셋에서 1위를 차지했다.
• ZINC, PATTERN, CLUSTER에서 GNN +의 개선이 큰 편차를 보이고; MNIST와 CIFAR에서 GatedGCN +가 기준선 중 최고 성과를 달성한다.
• LRBG 데이터셋 전반에서 GCN +와 GatedGCN +가 강력한 성능을 보이며, GatedGCN +가 MalNet-Tiny에서 1위를 달성하고 PascalVOC-SP와 COCO-SP에서 큰 이득을 얻는다.
• Open Graph Benchmark (OGB) 데이터셋에서 GatedGCN +가 상위 3위 안에 들며, ogbg-ppa에서 1위를 차지하고 ogbg-molhiv 및 oggb-molpcba에서 경쟁력 있는 성능을 보인다.
• 제거 연구에서 엣지 피처, 정규화, 드롭아웃, 잔차, FFN 또는 위치 인코딩을 제거하면 일반적으로 성능이 저하되며, 이들의 기여를 강조한다.
• 결과는 GNN +로 튜닝된 고전 GNN이 SOTA Graph Transformers에 필적하거나 능가하면서도 향상된 효율성을 제공함을 시사한다.