[論文レビュー] GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks

Xiaoqi Wang, Han‐Wei Shen|arXiv (Cornell University)|Sep 15, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

GNNInterpreterは、予測に依存するグラフの構造的・特徴的パターンを明らかにするために、生成的グラフ分布を学習する確率的生成モデルレベルの説明手法を提案する。新たな目的関数を最適化することで、ブラックボックスのヘッドやドメイン特化ルールを必要とせず、多様なGNNアーキテクチャーや異種グラフタイプにおいて忠実で現実的かつ柔軟な説明を生成し、複数のデータセットにおいて忠実性と解釈可能性の面で先行手法を上回る。

ABSTRACT

Recently, Graph Neural Networks (GNNs) have significantly advanced the performance of machine learning tasks on graphs. However, this technological breakthrough makes people wonder: how does a GNN make such decisions, and can we trust its prediction with high confidence? When it comes to some critical fields, such as biomedicine, where making wrong decisions can have severe consequences, it is crucial to interpret the inner working mechanisms of GNNs before applying them. In this paper, we propose a model-agnostic model-level explanation method for different GNNs that follow the message passing scheme, GNNInterpreter, to explain the high-level decision-making process of the GNN model. More specifically, GNNInterpreter learns a probabilistic generative graph distribution that produces the most discriminative graph pattern the GNN tries to detect when making a certain prediction by optimizing a novel objective function specifically designed for the model-level explanation for GNNs. Compared to existing works, GNNInterpreter is more flexible and computationally efficient in generating explanation graphs with different types of node and edge features, without introducing another blackbox or requiring manually specified domain-specific rules. In addition, the experimental studies conducted on four different datasets demonstrate that the explanation graphs generated by GNNInterpreter match the desired graph pattern if the model is ideal; otherwise, potential model pitfalls can be revealed by the explanation. The official implementation can be found at https://github.com/yolandalalala/GNNInterpreter.

研究の動機と目的

• バイオメディスンなどハイリスク分野における、忠実で一般化可能かつ計算的に効率的なGNNのモデルレベルの説明の欠如に対処すること。
• 離散的トポロジー、ドメイン特化のグラフ妥当性制約、異種ノード/エッジ特徴といったGNNの説明における課題を克服すること。
• インスタンス固有の説明や追加のブラックボックスコンponentに依存せずに、GNNのハイレベルな意思決定プロセスを説明する手法を開発すること。
• モデルがバイアスや欠陥を抱えている場合でも、真の判別的パターンを反映する現実的でドメインに配慮した説明グラフを生成すること。
• メッセージパッシング方式に従うさまざまなGNNアーキテクチャに適用可能な統一的で柔軟なフレームワークを提供すること、特徴タイプやアーキテクチャにかかわらず。

提案手法

• GNNInterpreterは、特定の予測に使用するGNNが依存する最も判別的パターンを表すグラフ分布を学習する確率的生成モデルを定式化する。
• 忠実性と現実性を保証するため、再構成誤差、埋め込み類似度、正則化項を組み合わせた新たな目的関数を最適化する。
• 訓練の安定性を確保するため、モンテカルロサンプリングにコンクリート分布（温度τ=0.2）を用い、SGDでK=10サンプルを用いる。
• 正則化項にはL1/L2重み減衰、予算ペナルティ（Rb）のウォームアップ、接続性制約（Rc）を含み、各データセットごとにグリッドサーチで調整する。
• モデルに依存しないアプローチであり、GCN、GATなど異なるGNNアーキテクチャーや、合成・実世界のグラフタイプ、異種特徴を含む。
• MUTAGのような構造的制約のあるデータセットでは、埋め込み類似度の重み（μ）を高くすることで、ドメインルールを暗黙的に捉える。

実験結果

リサーチクエスチョン

• RQ1 インスタンス固有の説明に依存せずに、GNNのハイレベルな意思決定パターンを忠実に明らかにできるモデルレベルの説明手法は存在するか？
• RQ2 生成モデルは、GNNが学習した真の判別的特徴を反映する現実的で妥当な説明グラフをどのように生成できるか？
• RQ3 GNNInterpreterは、バイアスの帰属や誤ったパターン依存といったモデルの欠陥をどの程度検出できるか？
• RQ4 XGNNのような既存の最先端のモデルレベルの説明手法と比較して、GNNInterpreterは忠実性と代表性の面でどの程度優れているか？
• RQ5 GNNInterpreterは、アーキテクチャーやドメイン特化の修正なしに、さまざまなGNNアーキテクチャーや異種グラフタイプ（ノードおよびエッジ特徴を含む）に一般化できるか？

主な発見

• MUTAGデータセットでは、GNNInterpreterがミュタゲンでないクラスとミュタゲンクラスの正しい構造的モチーフを特定し、F1スコアはそれぞれ0.961および0.917を達成した。
• Cyclicityデータセットでは、F1スコアが0.995～0.993と高く、GNNInterpreterは正しい循環パターンを明らかにし、分類における色の役割も特定した。
• Motifデータセットでは、GNNInterpreterが完全な5モチーフ（complete-5）を最も判別的パターンとして正確に回復し、そのクラスのF1スコアは1.000の完璧な値を記録した。
• Shapeデータセットでは、GNNInterpreterがスター構造を主要な判別的構造として正しく特定し、スタークラスにおけるモデルの完全な予測（F1=1.000）と整合した。
• ColorConsistencyデータセットでは、GNNInterpreterが一貫したエッジおよびノード特徴の役割を忠実に反映する説明グラフを生成し、モデルの高いF1スコア（0.9963および0.9962）と一致した。
• すべてのデータセットにおいて、特定の構造的モチーフへの過剰依存といったモデルバイアスや誤ったパターンをGNNInterpreterが明らかにし、モデルの欠陥を診断できる能力を示した。