[論文レビュー] Towards Prototype-Based Self-Explainable Graph Neural Network

Enyan Dai, Suhang Wang|arXiv (Cornell University)|Oct 5, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、各クラスの代表的プロトタイプグラフを学習することで、正確な予測と解釈可能でプロトタイプ駆動型の説明を可能にする、プロトタイプベースの自己説明可能なグラフニューラルネットワーク、PxGNNを提案する。自己教師あり学習と埋め込み正則化を用いたプロトタイプジェネレータを介して、グラフ再構成と分類を同時に最適化することで、実世界および合成データセットにおいて、精度と説明品質の両面で最先端の性能を達成している。

ABSTRACT

Graph Neural Networks (GNNs) have shown great ability in modeling graph-structured data for various domains. However, GNNs are known as black-box models that lack interpretability. Without understanding their inner working, we cannot fully trust them, which largely limits their adoption in high-stake scenarios. Though some initial efforts have been taken to interpret the predictions of GNNs, they mainly focus on providing post-hoc explanations using an additional explainer, which could misrepresent the true inner working mechanism of the target GNN. The works on self-explainable GNNs are rather limited. Therefore, we study a novel problem of learning prototype-based self-explainable GNNs that can simultaneously give accurate predictions and prototype-based explanations on predictions. We design a framework which can learn prototype graphs that capture representative patterns of each class as class-level explanations. The learned prototypes are also used to simultaneously make prediction for for a test instance and provide instance-level explanation. Extensive experiments on real-world and synthetic datasets show the effectiveness of the proposed framework for both prediction accuracy and explanation quality.

研究の動機と目的

• GNNにおける解釈可能性の欠如が、ドラッグディスカバリーやファイナンシャルアナリシスなどのハイリスク分野での利用を制限しているという問題に対処する。
• post-hoc解説器に依存せずに、正確な予測と忠実でプロトタイプベースの説明を提供する自己説明可能なGNNフレームワークを構築する。
• 各クラスの構造的および特徴パターンの主要な側面を捉える高品質で代表的なプロトタイプグラフを学習する。
• 自己教師あり学習と埋め込み正則化を組み合わせることで、プロトタイプ生成プロセスの柔軟性、スケーラビリティ、耐障害性を確保する。

提案手法

• 各クラスの潜在空間から、現実的で妥当なプロトタイプグラフを学習・生成するためのプロトタイプジェネレータネットワークを導入する。
• フレームワークは、プロトタイプジェネレータの訓練を促進するため、グラフ再構成損失を用いた自己教師あり学習を採用し、生成されたプロトタイプの品質と現実性を向上させる。
• プロトタイプ埋め込みが望ましい潜在空間内に留まるように制約項を導入し、プロトタイプの構造的および意味的整合性を保証する。
• 交差エントロピー損失とシルエットベースの多様性監視を組み合わせたマルチタスク損失関数を用いて、分類精度とプロトタイプ品質の両方を同時に最適化する。
• テストグラフを最も類似したプロトタイプグラフにマッチングすることでインスタンスレベルの説明を生成し、説明は「このテストインスタンスが最も類似するプロトタイプはどれか」と述べる。
• フレームワークは、GCN や GIN などのさまざまなGNNバックボーンと組み合わせ可能であり、アーキテクチャ全体にわたる一般化性を示している。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースの自己説明可能なGNNは、どのようにして高い予測精度と高品質な説明を同時に達成できるか？
• RQ2 グラフ構造データにおける真のクラスパターンを反映する高品質で代表的なプロトタイプグラフを学習するために、どのような要素が不可欠か？
• RQ3 自己教師あり学習と埋め込み正則化は、プロトタイプ品質および全体的なモデル性能にどのように寄与するか？
• RQ4 1クラスあたりの最適なプロトタイプ数は何か？ また、それがモデルの精度と説明の多様性に与える影響は？
• RQ5 再構成損失重み（α）や埋め込み正則化強度（β）といったハイパーパrameterに対して、フレームワークはどれほど感度を示すか？

主な発見

• PxGNNは、Cora や PubMed、Graph-SST2 といった実世界データセットにおいて、ノード分類およびグラフ分類精度の両面で、既存のベースラインを上回る最先端の性能を達成している。
• プロトタイプのシルエットスコアは、1クラスあたりのプロトタイプ数が増えるにつれて上昇し、多様性と代表性が向上していることが示されたが、精度は中程度のプロトタイプ数でピークに達した。
• アブレーションスタディの結果、自己教師あり学習（α=0）を削除するか、埋め込み制約（β=0）を無効にすると、精度とプロトタイプ品質の両方が著しく低下することが判明し、これらが不可欠であることが証明された。
• 初期化後にプロトタイプグラフを固定した場合（PxGNN\P）は、性能が著しく低下し、ジェネレータによる動的プロトタイプ更新の重要性が示された。
• ハイパーパrameter感度分析の結果、α ∈ [1,10] および β ∈ [1,3] の範囲で最適な性能が得られ、再構成と分類の目的のバランスが取れていることがわかった。
• GCNバックボーンをGINに置き換えてもPxGNNは強力な性能を維持しており、アーキテクチャの柔軟性と耐障害性が確認された。