[論文レビュー] Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs

Yongqiang Chen, Yonggang Zhang+7 more|arXiv (Cornell University)|Feb 11, 2022

Health, Environment, Cognitive Aging被引用数 49

ひとこと要約

CIGAは因果性に着想を得た枠組みを提案し、ラベルを生み出す情報を不変に保つサブグラフを抽出して、環境ラベルなしでグラフ分類の証明可能なOOD一般化を実現します。FIIF/PIIFベースの因果モデルと、不変サブグラフを特定してOODロバスト性を向上させる2つの実用的な目的を導入し、DrugOODを含む16データセットで強力な経験的結果を示します。

ABSTRACT

Despite recent success in using the invariance principle for out-of-distribution (OOD) generalization on Euclidean data (e.g., images), studies on graph data are still limited. Different from images, the complex nature of graphs poses unique challenges to adopting the invariance principle. In particular, distribution shifts on graphs can appear in a variety of forms such as attributes and structures, making it difficult to identify the invariance. Moreover, domain or environment partitions, which are often required by OOD methods on Euclidean data, could be highly expensive to obtain for graphs. To bridge this gap, we propose a new framework, called Causality Inspired Invariant Graph LeArning (CIGA), to capture the invariance of graphs for guaranteed OOD generalization under various distribution shifts. Specifically, we characterize potential distribution shifts on graphs with causal models, concluding that OOD generalization on graphs is achievable when models focus only on subgraphs containing the most information about the causes of labels. Accordingly, we propose an information-theoretic objective to extract the desired subgraphs that maximally preserve the invariant intra-class information. Learning with these subgraphs is immune to distribution shifts. Extensive experiments on 16 synthetic or real-world datasets, including a challenging setting -- DrugOOD, from AI-aided drug discovery, validate the superior OOD performance of CIGA.

研究の動機と目的

• グラフにおけるOOD一般化の動機づけと、構造・属性レベルのシフトがもたらす課題。
• FIIF/PIIF SCMの下でラベルの原因を符号化し環境シフトに独立した不変サブグラフを特定するためのCIGAを提案。
• 情報理論的な目的と、不変サブグラフを抽出する実践的実装を提供。
• 多様なグラフデータセットにわたるOOD保証を理論的に正当化し、経験的に検証。

提案手法

• GNNを特徴化器 g に分解し、不変サブグラフ G_c を抽出し、G_c から Y を予測する分類器 f_c を設計。
• G_c_hat と Y の情報を最大化する情報理論的目的を、G_c_hat が環境 E とは独立であるという制約の下で定式化。
• G_s の情報漏えいを抑えつつ予測力を維持する相互情報ベースの制約を追加して、CIGA v2 を導入。
• 実践的な学習のために、対比学習目的（式(5)）で互情報項を近似。
• 提案された目的の解がFIIF/PIIF SCMの下で不変なGNNを生み出すことを理論的保証（定理3.1）として提供。
• 解釈可能なGNNアーキテクチャと、情報境界を強制するヒンジ風の損失を用いた実装上の選択肢を議論。

実験結果

リサーチクエスチョン

• RQ1 不変性の原理はグラフデータへどのように拡張され、OOD一般化を保証できるのか？
• RQ2 ラベルの原因を捉え環境シフトに独立した不変サブグラフ G_c を特定できるのか？
• RQ3 環境ラベルなしで情報理論的な目的をどのように運用化して不変構造を抽出できるのか？
• RQ4 提案された CIGA の目的は、多様なグラフシフトと実世界データセットに対して証明可能なOOD保証を生み出すのか？

主な発見

Method	SPMotif-Struc_bias0.33	SPMotif-Struc_bias0.60	SPMotif-Struc_bias0.90	SPMotif-Mixed_bias0.33	SPMotif-Mixed_bias0.60	SPMotif-Mixed_bias0.90	Avg
ERM	59.49 (3.50)	55.48 (4.84)	49.64 (4.63)	58.18 (4.30)	49.29 (8.17)	41.36 (3.29)	52.24
ASAP	64.87 (13.8)	64.85 (10.6)	57.29 (14.5)	66.88 (15.0)	59.78 (6.78)	50.45 (4.90)	60.69
DIR	58.73 (11.9)	48.72 (14.8)	41.90 (9.39)	67.28 (4.06)	51.66 (14.1)	38.58 (5.88)	51.14
IRM	57.15 (3.98)	61.74 (1.32)	45.68 (4.88)	58.20 (1.97)	49.29 (3.67)	40.73 (1.93)	52.13
V-Rex	54.64 (3.05)	53.60 (3.74)	48.86 (9.69)	57.82 (5.93)	48.25 (2.79)	43.27 (1.32)	51.07
EIIL	56.48 (2.56)	60.07 (4.47)	55.79 (6.54)	53.91 (3.15)	48.41 (5.53)	41.75 (4.97)	52.73
IB-IRM	58.30 (6.37)	54.37 (7.35)	45.14 (4.07)	57.70 (2.11)	50.83 (1.51)	40.27 (3.68)	51.10
CNC	70.44 (2.55)	66.79 (9.42)	50.25 (10.7)	65.75 (4.35)	59.27 (5.29)	41.58 (1.90)	59.01
CIGA v1	71.07 (3.60)	63.23 (9.61)	51.78 (7.29)	74.35 (1.85)	64.54 (8.19)	49.01 (9.92)	62.33
CIGA v2	77.33 (9.13)	69.29 (3.06)	63.41 (7.38)	72.42 (4.80)	70.83 (7.54)	54.25 (5.38)	67.92
Oracle (IID)	-	88.70 (0.17)	-	-	88.73 (0.25)	-	-

• CIGA は、既存手法と比較してOOD性能を16の合成・実データセットで大きく向上させる。
• CIGA v2 は顕著な改善を達成しており、報告された実験で競合手法に対する平均的改善が見られる。
• 本フレームワークは、 FIIF/PIIF SCM の下で不変なGNNが出現することを理論的に保証する（定理3.1）。
• 対比学習風の近似により、環境ラベルなしで相互情報の目的を実践的に最適化できる。
• CIGA は、DrugOOD の難易度の高い設定で強力なベースラインを上回る。