[論文レビュー] Deconfounding to Explanation Evaluation in Graph Neural Networks

Yingxin Wu, Xiang Wang+5 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、代替サブグラフ生成器を用いた前向き調整を用いることで、グラフニューラルネットワーク（GNN）の説明評価における分布外（OOD）問題を緩和する因果推論ベースのフレームワーク、Deconfounded Subgraph Evaluation（DSE）を提案する。条件付き変分オートエンコーダ（CVGAE）を用いて分布内代替サブグラフを学習させることで、DSEはサブグラフの重要度を偏りのない推定が可能となり、標準的な削除ベースの評価と比較して説明の忠実度を顕著に向上させる。

ABSTRACT

Explainability of graph neural networks (GNNs) aims to answer "Why the GNN made a certain prediction?", which is crucial to interpret the model prediction. The feature attribution framework distributes a GNN's prediction to its input features (e.g., edges), identifying an influential subgraph as the explanation. When evaluating the explanation (i.e., subgraph importance), a standard way is to audit the model prediction based on the subgraph solely. However, we argue that a distribution shift exists between the full graph and the subgraph, causing the out-of-distribution problem. Furthermore, with an in-depth causal analysis, we find the OOD effect acts as the confounder, which brings spurious associations between the subgraph importance and model prediction, making the evaluation less reliable. In this work, we propose Deconfounded Subgraph Evaluation (DSE) which assesses the causal effect of an explanatory subgraph on the model prediction. While the distribution shift is generally intractable, we employ the front-door adjustment and introduce a surrogate variable of the subgraphs. Specifically, we devise a generative model to generate the plausible surrogates that conform to the data distribution, thus approaching the unbiased estimation of subgraph importance. Empirical results demonstrate the effectiveness of DSE in terms of explanation fidelity.

研究の動機と目的

• 完全グラフとサブグラフの間の分布シフトによって引き起こされるGNN説明評価の信頼性の問題に対処すること。
• サブグラフの重要度とモデル予測の間の誤った相関を生じさせる、分布外（OOD）効果を交絡要因として同定すること。
• 説明用サブグラフのGNN予測に対する真の因果効果を推定する去歪化評価フレームワークを開発すること。
• データ分布の性質を保持する分布内代替サブグラフを生成することにより、偏りのない因果推定を可能にすること。
• 標準的な特徴量削除を因果的に整合性のある評価パラダイムに置き換えることで、説明の忠実度を向上させること。

提案手法

• 完全グラフとサブグラフの間の分布シフト（D）の交絡効果を形式化するための構造的因果モデル（SCM）を提案する。
• 代替変数 $G^*_s$ を介して、サブグラフ $G_s$ が予測 $Y$ に与える因果効果を前向き調整を用いて推定する。
• サブグラフ $G_s$ を条件として、妥当で分布内の代替サブグラフ $G^*_s$ を生成するための条件付き変分グラフオートエンコーダ（CVGAE）を設計する。
• 生成された代替サブグラフが元のデータ分布に適合することを保証するため、対照損失と敵対的訓練を用いてCVGAEを学習する。
• 因果効果を $P(G^*_s | G_s)$ と $P(Y | G^*_s)$ の積として推定し、サブグラフの重要度に対する偏りのない評価を可能にする。
• 代替サブグラフに基づく因果効果を説明の忠実度の評価指標として用い、削除ベースの予測相関を置き換える。

実験結果

リサーチクエスチョン

• RQ1 完全グラフからサブグラフに至る分布シフトが、GNNにおけるサブグラフ重要度評価を歪める交絡バイアスを引き起こすか？
• RQ2 グラフデータに対して前向き調整を効果的に適用することで、サブグラフのモデル予測への因果効果を去歪化できるか？
• RQ3 深層生成モデルが、元のデータ分布を忠実に再現する分布内代替サブグラフを生成できるか？
• RQ4 提案されたDSEフレームワークは、標準的な削除ベースの評価と比較して説明の忠実度を向上させるか？
• RQ5 実世界のGNN説明において、OODサブグラフが引き起こす誤った相関に対して、DSEはどれほど頑健か？

主な発見

• 特徴量削除に起因するOOD効果により、$G_s \leftarrow D \rightarrow Y$ の交絡経路が生じ、サブグラフ重要度評価が歪められる。
• 実験結果から、DSEは標準的な削除ベースの評価と比較して、OODサブグラフに起因するバイアスを低減することで、説明の忠実度を顕著に向上させることを示した。
• CVGAE生成器は、データ分布に適合する代替サブグラフを効果的に生成でき、有効な前向き調整を可能にした。
• DSEは、削除ベースの手法が直感的でない重要度スコアを割り当てるケースにおいても、より信頼性が高く忠実な説明用サブグラフの評価を実現した。
• 合成データおよび実世界のデータセット（TR3を含む）において、DSEはOODアーティファクトが存在する中でも真の説明を正しく同定するなど、高い頑健性を示した。
• アブレーションスタディの結果、代替生成と前向き調整の両方のコンponentが、去歪化と忠実度の向上に不可欠であることが確認された。