[論文レビュー] SCL-GNN: Towards Generalizable Graph Neural Networks via Spurious Correlation Learning

Yuxiang Zhang, Enyan Dai|arXiv (Cornell University)|Mar 9, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

SCL-GNNはHSICとGrad-CAMを用いた偽相関学習モジュールを導入し、偽の特徴–ラベル相関を検出・緩和。双階層最適化によりGNNと共同最適化し、IIDおよびOOD一般化を改善します。

ABSTRACT

Graph Neural Networks (GNNs) have demonstrated remarkable success across diverse tasks. However, their generalization capability is often hindered by spurious correlations between node features and labels in the graph. Our analysis reveals that GNNs tend to exploit imperceptible statistical correlations in training data, even when such correlations are unreliable for prediction. To address this challenge, we propose the Spurious Correlation Learning Graph Neural Network (SCL-GNN), a novel framework designed to enhance generalization on both Independent and Identically Distributed (IID) and Out-of-Distribution (OOD) graphs. SCL-GNN incorporates a principled spurious correlation learning mechanism, leveraging the Hilbert-Schmidt Independence Criterion (HSIC) to quantify correlations between node representations and class scores. This enables the model to identify and mitigate irrelevant but influential spurious correlations effectively. Additionally, we introduce an efficient bi-level optimization strategy to jointly optimize modules and GNN parameters, preventing overfitting. Extensive experiments on real-world and synthetic datasets demonstrate that SCL-GNN consistently outperforms state-of-the-art baselines under various distribution shifts, highlighting its robustness and generalization capabilities.

研究の動機と目的

• IIDおよびOOD分布シフトの下でGNNの一般化を損なう偽相関を緩和する必要性を動機づける。
• 不可解に相関するノード特徴を定量化・削減する principled な偽相関学習メカニズムを提案する。
• 過学習を避けつつ偽相関学習者と代理GNNを共同訓練する Bi-level 最適化戦略を開発する。
• ラベルなしデータを活用し学習を安定化させる自己教師付き補助タスクを提供する。
• 多様な実世界および人工データセットを横断して枠組みを経験的に検証し、頑健性の向上を示す。

提案手法

• 偽相関をノード特徴とラベルの間の偽相関特徴セットと安定した相関により定義する。
• モデルスコアとノード表現間のHilbert-Schmidt Independence Criterion (HSIC) で無関係性を定量化する。
• Grad-CAMを用いて特徴重要度を評価し、相関緩和を導く。
• HSICとGrad-CAM信号を組み合わせた偽相関学習損失を導入し、重み更新を誘導する。
• 偽相関学習器を用いた自己教師付き学習を実装し、偽相関特徴への依存を減らすようGNNの重みを微調整する。
• 過学習を抑制するよう偽相関学習器と共にGNNを訓練する Bi-level 最適化スキームを適用する。

Figure 1: An illustration of node classification task on an academic network for GNNs. (a) The task aims to classify the label $y$ of target node $v$ based on the compact graph $\mathcal{G}_{v}=\{\mathbf{A}_{v},\mathbf{X}_{v}$ } consisting of its neighbors. (b) Four existing relations and the notion

実験結果

リサーチクエスチョン

• RQ1 RQ1: 偽相関に対処する最先端手法と比較してSCL-GNNはどう性能を示すか。
• RQ2 RQ2: 偽相関損失の重み(beta)と学習された相関の感度はどの程度か。
• RQ3 RQ3: 提案するBi-level 最適化は偽相関の問題を効果的に緩和し一般化を向上させるか。
• RQ4 RQ4: これらのメカニズムはデータセット間で偽相関緩和について意味のある洞察を提供するか。

主な発見

• SCL-GNNは複数データセットとバックボーンでOODデータにおいて一貫してベースラインを上回る。
• 偽相関損失の重みbetaを大きくすると一般に性能が向上するが、ある点を越えると過学習が生じる。
• アブレーション研究により、各学習済み相関が頑健性に寄与し、特定の相関を除去すると性能が低下することが分かった。
• Bi-level 最適化はテスト精度を訓練精度に近づけ、2層以外のバリアントよりも有効である。
• 視覚的分析では、偽相関特徴の中央値重みを低下させ、偽相関対清浄特徴の重み分散を増やすことで偽相関への依存を減少させる。

Figure 2: Illustration of SCL-GNN framework for generalizing GNN via spurious correlation learning. (a) and (b) illustrates the details of spurious correlation(abbreviated as SC) learner $f_{a}$ and backbone GNN model $f_{s}$ , respectively, (c) represent an overview of the framework, (d) and (e) re