[論文レビュー] Generalizing Graph Neural Networks on Out-Of-Distribution Graphs

Shaohua Fan, Xiao Wang+3 more|arXiv (Cornell University)|Nov 20, 2021

Advanced Graph Neural Networks参考文献 61被引用数 9

ひとこと要約

本稿では、因果的表現学習と因果変数区別正則化子を用いて誤った相関を低減することで、分布外（OOD）グラフにおけるグラフニューラルネットワーク（GNN）の一般化性能を向上させる、StableGNNという因果的表現フレームワークを提案する。この手法は、高レベルの部分グラフ表現学習と、正則化子を介した因果的変数の区別を組み合わせることで、真の構造的モチーフに注目し、誤ったモチーフに依存しない。8つのOODグラフベンチマークで最先端の性能を達成し、真の構造的モチーフに注目することで、より高い耐障害性と解釈可能性を実現した。

ABSTRACT

Graph Neural Networks (GNNs) are proposed without considering the agnostic distribution shifts between training and testing graphs, inducing the degeneration of the generalization ability of GNNs on Out-Of-Distribution (OOD) settings. The fundamental reason for such degeneration is that most GNNs are developed based on the I.I.D hypothesis. In such a setting, GNNs tend to exploit subtle statistical correlations existing in the training set for predictions, even though it is a spurious correlation. However, such spurious correlations may change in testing environments, leading to the failure of GNNs. Therefore, eliminating the impact of spurious correlations is crucial for stable GNNs. To this end, we propose a general causal representation framework, called StableGNN. The main idea is to extract high-level representations from graph data first and resort to the distinguishing ability of causal inference to help the model get rid of spurious correlations. Particularly, we exploit a graph pooling layer to extract subgraph-based representations as high-level representations. Furthermore, we propose a causal variable distinguishing regularizer to correct the biased training distribution. Hence, GNNs would concentrate more on the stable correlations. Extensive experiments on both synthetic and real-world OOD graph datasets well verify the effectiveness, flexibility and interpretability of the proposed framework.

研究の動機と目的

• 分布シフトに起因するi.i.d.仮定のもとで学習されたGNNのOODグラフにおける性能低下を解消すること。
• i.i.d.仮定のもとで学習されたGNNの一般化性能の低さが、部分グラフレベルのユニット同士の誤った相関に起因することを特定すること。
• 因果推論の原則を活用して、OOD設定下でのGNNの安定性を向上させる汎用的フレームワークを開発すること。
• 訓練データにおけるラベルと相関する誤った特徴ではなく、真の判別的部分構造に注目できるようにモデルを設計すること。
• モデルの注目メカニズムが因果的で意味のある部分グラフ構造と一致するようにすることで、解釈可能性を提供すること。

提案手法

• エンドツーエンドで動作する微分可能なグラフプーリング層を導入し、生のグラフデータから高レベルの部分グラフベースの表現を抽出する。
• 誤った相関が生じる原因を因果的視点で明確化し、たとえば「星」モチーフ（無関係な部分構造）と「家」モチーフ（ラベル）との間の誤った相関を特定する。
• 交絡要因バランシング技術をインspiredした因果変数区別正則化子（CVD）を提案し、バイアスがかかる訓練分布を是正するためのサンプル重みを学習する。
• CVD正則化子を用いて、高レベル表現と誤った特徴の間のヒルバート＝シュミット独立基準（HSIC）を最小化することで、耐障害性を向上させる。
• 表現学習と因果的是正を同時に最適化できる統合フレームワークにCVD正則化子を統合する。
• 学習可能なクラスタ割り当てを用いることで、高レベル表現の数を動的に調整できるエンドツーエンド学習を可能にする。

Figure 1: Visualization of subgraph importance for “house” motif classification task, produced by the vanilla GCN model and StableGNN when most of training graphs containing “house” motifs with “star” motifs. The red subgraph indicates the most important subgraph used by the model for prediction (ge

実験結果

リサーチクエスチョン

• RQ1 部分グラフユニットとラベルの間の誤った相関が、OOD設定下でのGNN一般化性能にどの程度悪影響を及えるか？
• RQ2 テスト分布が訓練分布と異なる状況下でも、因果的表現学習がGNNの耐障害性を向上させられるか？
• RQ3 提案された因果変数区別正則化子（CVD）は、グラフレベル予測タスクにおいて誤った特徴への依存を効果的に低減できるか？
• RQ4 このフレームワークは、既存のGNNアーキテクチャに柔軟に統合可能で、OOD一般化性能を向上させられるか？
• RQ5 モデルの注目メカニズムは、生物学的機能群など意味のある解釈可能な部分構造（例：分子内のNO₂やNH₂）に適切に一致するか、それとも誤ったモチーフに注目するか？

主な発見

• StableGNNは8つの実世界のOODグラフデータセットで最先端の性能を達成し、GraphSAGE や GraphSAGE-Decorr といった既存のSOTA手法を上回った。
• OGB-Mol*ベンチマークでは、Molbbbpで90.96% ± 1.93、Molclintoxで90.44% ± 0.79の精度を達成し、GraphSAGE（86.51% と 88.89%）や GraphSAGE-Decorr（88.89% と 88.89%）といったベースラインを顕著に上回った。
• CVD正則化子は急速に収束し、数エポックでHSIC値が顕著に低下し、誤った相関の抑制が有効に機能していることが示された。
• アブレーションスタディの結果、CVD正則化子を除去した場合（StableGNN-NoCVD）に性能が低下し、耐障害性に不可欠であることが確認された。
• GNNExplainerを用いた解釈可能性分析の結果、StableGNNは生物学的に関連するモチーフ（例：MUTAGにおけるNO₂ や NH₂）を正しく特定している一方、ベースラインは誤った特徴に注目していることがわかった。
• 事前に定義されたクラスタ数の変更に対しても、StableGNNは常にStableGNN-NoCVDを上回る性能を示し、CVD正則化子の有効性が検証された。

Figure 2: Causal graph for data generation process. Gray nodes and white nodes mean the unobserved latent variables and the observed variables, respectively.