[論文レビュー] Parameterized Explainer for Graph Neural Network

Dongsheng Luo, Wei Cheng+5 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Graph Neural Networks被引用数 211

ひとこと要約

PGExplainer は、共有エッジ分布モデルを学習することにより複数のインスタンスに跨る予測を説明するパラメータ化された、グローバルに訓練された explainer for GNNs を提案し、インスタンス特化型手法に対する最先端の説明品質と大幅な高速化を達成します。

ABSTRACT

Despite recent progress in Graph Neural Networks (GNNs), explaining predictions made by GNNs remains a challenging open problem. The leading method independently addresses the local explanations (i.e., important subgraph structure and node features) to interpret why a GNN model makes the prediction for a single instance, e.g. a node or a graph. As a result, the explanation generated is painstakingly customized for each instance. The unique explanation interpreting each instance independently is not sufficient to provide a global understanding of the learned GNN model, leading to a lack of generalizability and hindering it from being used in the inductive setting. Besides, as it is designed for explaining a single instance, it is challenging to explain a set of instances naturally (e.g., graphs of a given class). In this study, we address these key challenges and propose PGExplainer, a parameterized explainer for GNNs. PGExplainer adopts a deep neural network to parameterize the generation process of explanations, which enables PGExplainer a natural approach to explaining multiple instances collectively. Compared to the existing work, PGExplainer has better generalization ability and can be utilized in an inductive setting easily. Experiments on both synthetic and real-life datasets show highly competitive performance with up to 24.7\% relative improvement in AUC on explaining graph classification over the leading baseline.

研究の動機と目的

• GNNs に対するグローバルで帰納的な説明の必要性を、インスタンス固有の局所的な説明よりも動機づける。
• 複数のインスタンス間でパラメータを共有するパラメータ化された explainer を提案し、集合的な説明を可能にする。
• 確率的グラフモデルを用いてエッジ分布として説明をモデリングし、それをニューラルネットワークで学習する。
• 合成データセットと実データセット上で、ベースラインよりも優れた説明品質と高速な推論を実証する。

提案手法

• explanatory subgraph Gs を、GNN の予測情報 Yo を最大限に保持する構造として定義する。
• エッジ選択を eij ~ Bern(theta_ij) を持つ Gilbert ランダムグラフとして緩和し、再parameterization トリックを介して相互情報量を最適化する。
• differentiable optimization のために温度 tau を用いて hat{Gs} をサンプルするバイナリコンクリート分布を使用する。
• エッジ選択のロジット Omega を、GNN のノード表現 Z を入力として受け取る共有 explainer ネットワーク g_Psi(Go, Z) によりパラメータ化する。
• ノード分類の場合には omega_ij = MLP_Psi([z_i; z_j; z_v]) とし、グラフ分類の場合には omega_ij = MLP_Psi([z_i; z_j]) とする。
• サンプルされたグラフ上で元の予測 Yo と予測された hat{Ys} とのクロスエントロピーを最適化して Psi を学習する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された explainer は複数のグラフインスタンスと設定（トランダクティブとインダクティブの両方）に跨って説明を一般化できるか。
• RQ2 グローバルな explainer は、インスタンスごとの手法と比較して説明品質が良好または同等で、 substantial な効率向上を提供するか。
• RQ3 ノードレベル対グラフレベルの分類タスクにおいて、説明品質とスピードの観点で PGExplainer はどのように性能を発揮するか。

主な発見

Model	BA-Shapes	BA-Community	Tree-Cycles	Tree-Grid	BA-2motifs	MUTAG
GNNExplainer	0.925	0.836	0.948	0.875	0.742	0.727
PGExplainer	0.963 ± 0.011	0.945 ± 0.019	0.987 ± 0.007	0.907 ± 0.014	0.926 ± 0.021	0.873 ± 0.013
Improve	4.1%	13.0%	4.1%	3.7%	24.7%	11.5%
Inference Time (ms)	650.60	696.61	690.13	713.40	934.72	409.98
PGExplainer (inference)	10.92	24.07	6.36	6.72	80.13	9.68
Speed-up	59x	29x	108x	106x	12x	42x

• PGExplainer は、ベースラインに対して最先端の説明 AUC の向上を達成し、グラフ分類で最大 24.7%、ノード分類で最大 13.0% の改善を示す。
• 説明ネットワークはインスタンス間で共有され、再訓練なしの帰納的説明を可能にし、顕著な速度向上をもたらす。
• 合成データセットと実データセット上で、PGExplainer は予測を動かすモチーフ様の部分構造を一貫して識別する（例: MUTAG の NO2基）。
• 新しいインスタンスを説明するための推論時間は、GNNExplainer の再訓練が必要な場合より大幅に短くなる（例: 最大で 108 倍速い）。
• グローバルな説明は GNN の意思決定の人口レベルの一貫した見方を提供し、インスタンス単位の説明より一般化を改善する。