[論文レビュー] Joint Learning of Label and Environment Causal Independence for Graph Out-of-Distribution Generalization

Shurui Gui, Meng Liu+3 more|arXiv (Cornell University)|Jun 1, 2023

Advanced Graph Neural Networks被引用数 8

ひとこと要約

LECI はラベルと環境の因果独立性を共同で強制し、敵対的学習を通じて不変の因果サブグラフを発見してグラフのOOD一般化を実現する。従来手法より synthetic および real-world データセットで性能を向上させる。

ABSTRACT

We tackle the problem of graph out-of-distribution (OOD) generalization. Existing graph OOD algorithms either rely on restricted assumptions or fail to exploit environment information in training data. In this work, we propose to simultaneously incorporate label and environment causal independence (LECI) to fully make use of label and environment information, thereby addressing the challenges faced by prior methods on identifying causal and invariant subgraphs. We further develop an adversarial training strategy to jointly optimize these two properties for causal subgraph discovery with theoretical guarantees. Extensive experiments and analysis show that LECI significantly outperforms prior methods on both synthetic and real-world datasets, establishing LECI as a practical and effective solution for graph OOD generalization. Our code is available at https://github.com/divelab/LECI.

研究の動機と目的

• グラフのトポロジーシフトによるグラフのOOD一般化の課題を特定し対処する。
• ラベルと環境の因果独立性を活用して因果サブグラフの発見を改善する。
• 不変サブグラフ選択の理論的保証を伴う敵対的学習フレームワークを提供する。
• synthetic および real-world グラフデータセットで LECI の経験的優位性を実証する。

提案手法

• 因果独立性の二つの性質を提案する：E ? G_C および Y ? G_S を用いて因果サブグラフと誤導的サブグラフを分離する。
• 解釈可能なサブグラフ発見ネットワークを用いて hat{G}_C と hat{G}_S = G - hat{G}_C を選択する；サブグラフサンプリングには differentiable な Gumbel-Sigmoid を用いる。
• 環境識別器 g_E によって mutual information I(E; hat{G}_C) を最小化する環境敵対 (EA) loss を導入する。
• ラベル識別器 g_L によって情報 I(Y; hat{G}_S) を最小化するラベル敵対 (LA) loss を導入する。
• EA と LA を敵対的トレーニングで共同最適化し hat{G}_C が E とは独立であり hat{G}_S が Y の因果情報を保持することを保証する。
• ノード特徴から環境情報を敵対的に除去することで特徴シフトを緩和するステップを任意に適用する。

実験結果

リサーチクエスチョン

• RQ1 LECI は covariate、FIIF、PIIF SCMs の下で因果サブグラフを正確に発見できるか。
• RQ2 ラベルと環境の独立性を強制することは、既存ベースラインを超えるグラフタスクのOOD一般化を改善するか。
• RQ3 実世界のグラフOODシナリオにおけるハイパーパラメータ設定とトレーニングダイナミクスに対して LECI はどれだけ頑健か。
• RQ4 提案された独立制約の下でのサブグラフ発見に付随する理論的保証は何か。

主な発見

• LECI は構造・特徴シフトの両方のsynthetic データセットおよび real-world グラフでベースラインを大幅に上回る。
• LECI は GOOD-Motif、GOOD-CMNIST、CFP-Motif、GOOD-SST2、GOOD-Twitter、GOOD-HIV scaffold/size、DrugOOD のタスクで最先端の結果を達成し、synthetic ベンチマークで oracle パフォーマンスに近づくか上回ることが多い。
• 解釈可能性のビジュアライゼーションは LECI がモチーフベースの因果サブグラフを正確に切り出すことを示し、誤導的構造の抑制が効果的であることを示唆する。
• ハイパーパラメータ感度分析は λ_L および λ_E の変化に対して LECI が頑健であり、OOD性能が安定していることを示す。
• 学習過程は複雑なOOD設定下でも安定しており、従来の ERM およびいくつかの DG/OOD ベースラインを上回る。
• LECI は事前に収集された環境情報がグラフタスクにとって強力なツールになり得ることを示し、従来の有用性に関する仮定を上回る。