[論文レビュー] Discovering Invariant Rationales for Graph Neural Networks

Yingxin Wu, Xiang Wang+3 more|arXiv (Cornell University)|Jan 30, 2022

Explainable Artificial Intelligence (XAI)被引用数 59

ひとこと要約

DIR は非因果特徴に介入して頑健で解釈可能なグラフ分類を学習し、分布間での一般化を改善することで、GNN の不変な因果的推論を発見します。

ABSTRACT

Intrinsic interpretability of graph neural networks (GNNs) is to find a small subset of the input graph's features -- rationale -- which guides the model prediction. Unfortunately, the leading rationalization models often rely on data biases, especially shortcut features, to compose rationales and make predictions without probing the critical and causal patterns. Moreover, such data biases easily change outside the training distribution. As a result, these models suffer from a huge drop in interpretability and predictive performance on out-of-distribution data. In this work, we propose a new strategy of discovering invariant rationale (DIR) to construct intrinsically interpretable GNNs. It conducts interventions on the training distribution to create multiple interventional distributions. Then it approaches the causal rationales that are invariant across different distributions while filtering out the spurious patterns that are unstable. Experiments on both synthetic and real-world datasets validate the superiority of our DIR in terms of interpretability and generalization ability on graph classification over the leading baselines. Code and datasets are available at https://github.com/Wuyxin/DIR-GNN.

研究の動機と目的

• 分布シフト下で機能しないショートカット特徴への依存を避けることにより、GNN における固有の解釈性を動機づける。
• 予測を導く環境不変な因果パターンを特定する因果的で不変な合理化フレームワークを提案する。
• DIR 目的関数と invariant rationales を抽出・検証する4モジュールの GNN アーキテクチャを開発する。
• 人工データと実データの両方で一般化と解釈性の改善を理論的根拠と実証的証拠として提供する。

提案手法

• 因果(C)と非因果(S)の部分を分離する Structure Causal Model を用いてデータ生成過程を形式化する。
• 不変的合理化を、介入分布間のリスクを最小化しつつ環境間の分散を抑制すること（DIR 目的関数）として定義する。
• グラフを因果部分と非因果部分のサブグラフに分割する合理化生成器。介入分布を作成する分布介入者。グラフエンコーダ。因果部と非因果部用の2つの分類器を導入する。
• S に対する do(S=s) 介入で介入分布を構築し、これらの分布に跨る不変な Y を生み出す C を特定するよう訓練する。
• 介入下の予測を推定し、非因果寄与をマスクした結合予測を用いて因果的合理化を強調する。
• 最適化を提供: DIR 目的関数は期待介入リスクと分散正則化(R_DIR)を組み合わせる。
• 非因果分岐に対する補助損失を提供し、偽の特徴の学習を別個に促進する(R_S)。

実験結果

リサーチクエスチョン

• RQ1 RQ1：DIR は因果特徴を発見しGNNの一般化を改善するのにどれくらい効果的か？
• RQ2 RQ2：不変な合理化を学習する際にどのような訓練ダイナミクスとパターンが現れるか？
• RQ3 RQ3：DIR により発見された合理化はOODデータでの解釈性と頑健性を向上させるか？

主な発見

Model	Spurious-Motif Balance	b=0.5	b=0.7	b=0.9	MNIST-75sp	Graph-SST2	Molhiv
ERM	42.99 b1 1.93	39.69 b1 1.73	38.93 b1 1.74	33.61 b1 1.02	12.71 b1 1.43	81.44 b1 0.59	76.20 b1 1.14
Attention	43.07 b1 2.55	39.42 b1 1.50	37.41 b1 0.86	33.46 b1 0.43	15.19 b1 2.62	81.57 b1 0.71	75.84 b1 1.33
ASAP	44.44 b1 8.19	44.25 b1 6.87	39.19 b1 4.39	31.76 b1 2.89	15.54 b1 1.87	81.57 b1 0.84	73.81 b1 1.17
Top- k Pool	43.43 b1 8.79	41.21 b1 7.05	40.27 b1 7.12	33.60 b1 0.91	14.91 b1 3.25	79.78 b1 1.35	73.01 b1 1.65
SAG Pool	45.23 b1 6.76	43.82 b1 6.32	40.45 b1 7.50	33.60 b1 1.18	14.31 b1 2.44	80.24 b1 1.72	73.26 b1 0.84
GSN	43.18 b1 5.65	34.67 b1 1.21	34.03 b1 1.69	32.60 b1 1.75	19.03 b1 2.39	82.54 b1 1.16	74.53 b1 1.90
Group DRO	41.51 b1 1.11	39.38 b1 0.93	39.32 b1 2.23	33.90 b1 0.52	15.13 b1 2.83	81.29 b1 1.44	75.44 b1 2.70
V-REx	42.83 b1 1.59	39.43 b1 2.69	39.08 b1 1.56	34.81 b1 2.04	18.92 b1 1.41	81.76 b1 0.08	75.62 b1 0.79
IRM	42.26 b1 2.69	41.30 b1 1.28	40.16 b1 1.74	35.12 b1 2.71	18.62 b1 1.22	81.01 b1 1.13	74.46 b1 2.74
DIR-Var	45.87 b1 2.61	43.81 b1 1.93	42.69 b1 1.77	37.12 b1 1.56	17.74 b1 4.17	81.74 b1 0.89	76.05 b1 0.86
DIR	47.03 b1 2.46	45.50 b1 2.15	43.36 b1 1.64	39.87 b1 0.56	20.36 b1 1.78	83.29 b1 0.53	77.05 b1 0.57

• DIR は合成データと実データの両方で、一般化の点でERMおよびいくつかの不変学習ベースラインを一貫して上回る。
• アブレーションでは、分散正則化を行う DIR (DIR) が、DIR-Var (λ>0) に比べて不変分布を活用して改善する。
• DIR は内在的解釈性を高め、バイアスが増加するにつれて Spurious-Motif に対する Precision@5 が高くなる。
• 2段階の訓練ダイナミクスは、合理化抽出器が顕著な特徴を学習する適応期と、因果的合理化を安定化させ予測子を洗練する適合期を明らかにする。
• 可視化は、DIR が ground-truth 合致する顕著な因果トークン/エッジに焦点を合わせ、分布シフト下でも情報を保持することを示す。