[論文レビュー] Interpretable Prototype-based Graph Information Bottleneck

Sang‐Woo Seo, Sungwon Kim+1 more|arXiv (Cornell University)|Oct 30, 2023

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

PGIB はプロトタイプ学習を Graph Information Bottleneck と統合し、GNN の予測に重要なサブグラフを識別することで精度と説明可能性を向上させる。

ABSTRACT

The success of Graph Neural Networks (GNNs) has led to a need for understanding their decision-making process and providing explanations for their predictions, which has given rise to explainable AI (XAI) that offers transparent explanations for black-box models. Recently, the use of prototypes has successfully improved the explainability of models by learning prototypes to imply training graphs that affect the prediction. However, these approaches tend to provide prototypes with excessive information from the entire graph, leading to the exclusion of key substructures or the inclusion of irrelevant substructures, which can limit both the interpretability and the performance of the model in downstream tasks. In this work, we propose a novel framework of explainable GNNs, called interpretable Prototype-based Graph Information Bottleneck (PGIB) that incorporates prototype learning within the information bottleneck framework to provide prototypes with the key subgraph from the input graph that is important for the model prediction. This is the first work that incorporates prototype learning into the process of identifying the key subgraphs that have a critical impact on the prediction performance. Extensive experiments, including qualitative analysis, demonstrate that PGIB outperforms state-of-the-art methods in terms of both prediction performance and explainability.

研究の動機と目的

• グラフ内のコア・サブ構造を識別するための説明可能な GNN を動機づける。
• プロトタイプ学習を Graph Information Bottleneck に統合して重要なサブグラフを捉える。
• 予測可能なサブ構造と整合する解釈可能なプロトタイプを実現する。
• 最先端手法と比べて分類性能と説明可能性の向上を示す。

提案手法

• GIB の目的をプロトタイプとサブグラフレベル情報を取り込むように再定式化する。
• サブグラフ抽出レイヤを用いて確率的マスキングによる I(G; G_sub) の最小化を図る。
• 固定数のクラス別プロトタイプと類似度ベースのスコアリング機構を備えたプロトタイプ層を導入する。
• 分類、IB項、連結性正則化を含む結合損失を最適化する。
• 類似プロトタイプを統合し、訓練サブグラフへプロトタイプを投影して解釈性を高める。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプをどのように Graph Information Bottleneck に統合して鍵となるサブグラフへ焦点を当てるか。
• RQ2 PGIB はベースラインと比べて予測精度と説明可能性の両方を向上させるか。
• RQ3 マスキング、プロトタイプの類似性、統合などのどのメカニズムがサブグラフとプロトタイプのロバスト性と解釈性を高めるか。

主な発見

Dataset	GCN	GIN	GAT	ProtGNN	GIB	VGIB	GSAT	PGIB	PGIB_cont
MUTAG	74.50±7.89	80.50±7.89	73.50±7.43	80.50±9.07	79.00±6.24	81.00±6.63	80.88±8.94	85.00±7.07	85.50±5.22
PROTEINS	72.83±4.23	70.30±4.84	71.35±4.85	73.83±4.22	75.25±5.92	73.66±3.32	69.64±4.71	77.14±2.19	77.50±2.42
NCI1	73.16±3.49	75.04±2.08	66.05±1.03	74.13±2.10	64.65±6.78	63.75±3.37	68.13±2.64	77.65±2.20	78.25±2.13
DD	72.53±4.51	72.04±3.62	70.81±4.33	69.15±4.33	72.61±8.26	72.77±5.63	71.93±2.74	73.36±1.80	73.70±2.14

• PGIB は four つのグラフ分類データセット（MUTAG, PROTEINS, NCI1, DD）で最先端のプロトタイプおよび IB ベースの手法を上回る。
• 対比的なバリアント PGIB_cont は、変分 IB バージョンよりも高い精度をしばしば示す。
• プロトタイプの統合はモデルの複雑さを抑えつつ解釈性を改善し、性能を犠牲にしない。
• プロトタイプ投影により各プロトタイプを最も近い訓練サブグラフに結び付け、説明の解釈性を高める。
• 忠実度分析は、PGIB ベースの説明がベースラインと比べて重要な予測成分をより良く捉えることを示す。