[論文レビュー] Evaluating Explainability for Graph Neural Networks

Chirag Agarwal, Owen Queen+2 more|arXiv (Cornell University)|Aug 19, 2022

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）の説明可能性手法を制御的に評価できるように、多様なベンチマークデータセットを生成し、信頼性がありプログラムで定義された真の説明（ground-truth explanations）を提供する合成グラフデータ生成ツールShapeGGenを紹介する。ShapeGGenと併せて提供されるGraphXAIライブラリにより、グラフ構造や性質の異なる環境においてGNNの説明可能性手法を標準化されたフレームワークで評価可能となり、分野における信頼性のあるベンチマークの不足を解消する。

ABSTRACT

As post hoc explanations are increasingly used to understand the behavior of graph neural networks (GNNs), it becomes crucial to evaluate the quality and reliability of GNN explanations. However, assessing the quality of GNN explanations is challenging as existing graph datasets have no or unreliable ground-truth explanations for a given task. Here, we introduce a synthetic graph data generator, ShapeGGen, which can generate a variety of benchmark datasets (e.g., varying graph sizes, degree distributions, homophilic vs. heterophilic graphs) accompanied by ground-truth explanations. Further, the flexibility to generate diverse synthetic datasets and corresponding ground-truth explanations allows us to mimic the data generated by various real-world applications. We include ShapeGGen and several real-world graph datasets into an open-source graph explainability library, GraphXAI. In addition to synthetic and real-world graph datasets with ground-truth explanations, GraphXAI provides data loaders, data processing functions, visualizers, GNN model implementations, and evaluation metrics to benchmark the performance of GNN explainability methods.

研究の動機と目的

• GNNの説明可能性手法を評価するための信頼性があり、プログラムで定義された真の説明が不足しているという重要な課題に対処すること。
• サイズ、次数分布、同型性（homophily）などのプロパティを制御可能な、柔軟な合成グラフ生成ツールを構築すること。
• 合成データと実世界データセット、説明、モデル実装、評価指標を統合した包括的なベンチマークライブラリ、GraphXAIを構築すること。
• 予測の真の根拠が分かっているデータを用いて、GNNの説明手法を体系的に評価できるようにすること。
• 標準化されたデータ、ツール、評価プロトコルを提供することで、GNNの説明可能性分野における再現可能性の高い研究を支援すること。

提案手法

• ShapeGGenは、グラフサイズ、ノード次数分布、同型性／異型性（homophily/heterophily）レベルなどのユーザー定義パラメータを用いて合成グラフを生成する。
• 生成されたグラフに、特定の部分構造（例：形状）をノードラベルの予測に直接関連付けることで、真の説明を埋め込む。これにより、モデルの推論根拠と説明が一致する。
• 真の説明は、予測に因果的に寄与するグラフの部分を示すノードまたは部分グラフマスクとしてエンコードされる。
• このフレームワークは、データローダ、可視化ツール、GNNモデル実装、説明可能性の評価指標を提供する統合ライブラリGraphXAIと連携する。
• GraphXAIは合成データと実世界のグラフデータセットの両方をサポートしており、説明手法のクロスデータセット評価を可能にする。
• 説明手法が生成する説明に対して、標準的な説明可能性指標（例：忠実度、再現率、適合率）を用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 同型的グラフと異型的グラフの両方において、異なるGNN説明手法の性能はどのように異なるか？
• RQ2 既存の説明手法は、合成データで使用された真の部分構造をどの程度正確に回復できるか？
• RQ3 グラフ構造の複雑さ（例：サイズ、次数分布）は、説明の忠実度と信頼性にどのように影響するか？
• RQ4 提案されたベンチマークは、高品質と低品質の説明手法を信頼性を持って区別できるか？
• RQ5 説明手法は、異なる種類の合成データおよび実世界のグラフデータに一般化して適用できるか？

主な発見

• ShapeGGenは、複数の構造的設定において一貫性があり、プログラムで定義された真の説明を備えた多様なグラフデータセットを効果的に生成できた。
• GraphXAIを用いた評価により、説明手法間で顕著な性能差が確認され、一部の手法は単純なグラフですら真の部分構造を回復できないことが判明した。
• 異型的グラフでは、同型的グラフと比較して説明の忠実度と適合率が一貫して低く、このような環境下での手法的課題が浮き彫りになった。
• ベンチマークは、現在の説明手法が複雑またはスパarsなグラフにおいて、しばしば正しい因果的部分構造を特定できないことを示した。
• GraphXAIに合成データと実世界データセットを統合することで、説明技術の評価がより強固で一般化可能なものとなった。
• このフレームワークにより、GNNの説明手法を再現可能かつ体系的に比較可能となり、現在のアプローチにおけるギャップが明確に浮き彫りになった。