[論文レビュー] Contrastive Graph Neural Network Explanation

Lukas Faber, Amin K. Moghaddam+1 more|arXiv (Cornell University)|Oct 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 12

ひとこと要約

この論文は、学習分布に準拠するグラフのみを用いて説明を生成することにより、分布準拠説明（DCE）を保証する対照的グラフニューラルネットワーク説明手法CoGEを提案する。CoGEは、合成CYCLIQデータセットにおいて、GNNExplainer やオクルージョンといった既存手法と比較して説明精度が最大10%向上し、クリーク検出タスクではほぼ完璧な精度（99%）を達成している。また、アブレーションスタディを通じて、ロバスト性を維持している。

ABSTRACT

Graph Neural Networks achieve remarkable results on problems with structured data but come as black-box predictors. Transferring existing explanation techniques, such as occlusion, fails as even removing a single node or edge can lead to drastic changes in the graph. The resulting graphs can differ from all training examples, causing model confusion and wrong explanations. Thus, we argue that explicability must use graphs compliant with the distribution underlying the training data. We coin this property Distribution Compliant Explanation (DCE) and present a novel Contrastive GNN Explanation (CoGE) technique following this paradigm. An experimental study supports the efficacy of CoGE.

研究の動機と目的

• ノードやエッジを削除した際の構造的変化が著しく生じることで、グラフニューラルネットワーク（GNN）における誤った説明が生じる問題に対処すること。
• 説明が学習時に観測したデータ分布内に留まらなければ、敵対的攻撃と混同されるおそれがあるため、説明は訓練時分布に準拠している必要があると主張すること。
• 実際の訓練分布準拠グラフのみを用いることで、分布準拠説明（DCE）を満たす、新たな説明手法CoGEを提案すること。
• 合成および実際のグラフデータセットにおいて、オクルージョン、感度、GNNExplainerといった既存の説明手法と比較して、CoGEの優位性を実証的に検証すること。

提案手法

• CoGEは、入力グラフが同じラベルの正例グラフに類似し、異なるラベルの負例グラフから遠ざかるように、グラフ部分構造を同定するための対照的学習パラダイムを用いる。
• 入力グラフと参照グラフのノード埋め込み分布間の最適輸送（OT）距離に基づく損失関数を定義し、構造的重要性の忠実な表現を促進する。
• 3つの損失項を最適化する：同じラベルのグラフとの類似性を最大化する項（$\mathcal{L}_{W}^{\approx}$）、異なるラベルのグラフとの類似性を最小化する項（$\mathcal{L}_{W}^{\not\approx}$）、ラベルの一貫性を強制する項（$\mathcal{L}_{W}^{=}$）。
• 学習された対照的表現に基づいてエッジの重要度スコアを計算し、入力グラフを負例グラフから区別するのに寄与するエッジに焦点を当てる。
• 元のグラフ構造を変更しないため、分布準拠性が保たれ、敵対的摂動に類似した影響を避ける。
• 事前学習済みGNNを用いてノード埋め込みを抽出し、最適輸送を介して類似度を計算することで、モデルに配慮した説明を実現する。

実験結果

リサーチクエスチョン

• RQ1 GNNの説明手法は、分布外のグラフ変更によって生じる誤った説明を回避できるか？
• RQ2 実際の訓練グラフに基づく対照的説明アプローチは、オクルージョンやGNNExplainerといった既存手法と比較して、精度とロバスト性においてどのように差がつくか？
• RQ3 分布準拠性を強制することで、グラフ分類タスクにおける説明品質はどの程度向上するか？
• RQ4 対照的損失関数の各コンポonentが最終的な説明性能にどの程度寄与しているか？
• RQ5 CoGEは、サイクルやクリークといった異なるグラフ構造に一般化可能か？また、合成データと実世界データの両方でどのように性能を発揮するか？

主な発見

• CoGEはCYCLIQデータセットにおけるクリーク検出タスクで99%の説明精度を達成し、GNNExplainer（73%）やオクルージョン（86%）を大きく上回っている。
• サイクル検出タスクでは78%の精度を達成し、GNNExplainer（43%）やオクルージョン（39%）を上回っている。
• アブレーションスタディの結果、$\mathcal{L}_{W}^{\not{\approx}}$が性能向上に最も寄与しているが、$\mathcal{L}_{W}^{\approx}$ および $\mathcal{L}_{W}^{=}$ と組み合わせることでさらに精度が向上している。
• 最適輸送を平均埋め込みのユークリッド距離に置き換えると性能が低下し、OTが構造的差を効果的に捉えるために不可欠であることが示された。
• CoGEは異なるハイパーパramータ設定に対しても高い性能を維持しており、パrameter選択に対してロバストであることが示された。
• 可視化結果から、CoGEは正しくクリークおよびサイクルのエッジを最も重要なエッジとして特定しているのに対し、オクルージョンなどの他の手法はトポロジーの破壊により、関連のないエッジを強調していることが確認された。