[論文レビュー] Explaining the Explainers in Graph Neural Networks: a Comparative Study

Antonio Longa, Steve Azzolin+5 more|arXiv (Cornell University)|Oct 27, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿は、6つのグラフ分類およびノード分類データセットにおいて、8つのGNNアーキテクチャ上で10のGNN説明手法を体系的かつ実験的に評価する研究を実施している。その結果、説明可能性はアーキテクチャや説明手法の種別によって顕著に異なることが明らかになった。勾配ベースの手法はノード分類において優れた性能を示し、エッジ中心の説明手法は、特徴量が存在しない状況においても、グラフ分類においてノードベースの手法を上回ることがわかった。

ABSTRACT

Following a fast initial breakthrough in graph based learning, Graph Neural Networks (GNNs) have reached a widespread application in many science and engineering fields, prompting the need for methods to understand their decision process. GNN explainers have started to emerge in recent years, with a multitude of methods both novel or adapted from other domains. To sort out this plethora of alternative approaches, several studies have benchmarked the performance of different explainers in terms of various explainability metrics. However, these earlier works make no attempts at providing insights into why different GNN architectures are more or less explainable, or which explainer should be preferred in a given setting. In this survey, we fill these gaps by devising a systematic experimental study, which tests ten explainers on eight representative architectures trained on six carefully designed graph and node classification datasets. With our results we provide key insights on the choice and applicability of GNN explainers, we isolate key components that make them usable and successful and provide recommendations on how to avoid common interpretation pitfalls. We conclude by highlighting open questions and directions of possible future research.

研究の動機と目的

• GNNアーキテクチャと説明手法の種別が説明可能性に与える影響を体系的に評価する手法の欠如に対処すること。
• ノード分類とグラフ分類、特徴量の有無といった異なるデータ設定下で、どの説明手法が最も効果的であるかを特定すること。
• 忠実度バイアスや人間による正解ラベル付けにおけるバイアスといった、説明手法の評価における一般的な落とし穴を明らかにすること。
• GNNアーキテクチャとタスクタイプに応じた説明手法の選定に関する実用的かつ実行可能な推奨事項を提供すること。
• 特にアグリゲーションメカニズムとメトリクス設計の影響を受ける、GNN説明可能性分野における未解決の課題を強調すること。

提案手法

• GCN、GAT、GraphSAGE、GINを含む8つの代表的なGNNアーキテクチャ上で、10の最先端の説明手法を評価した。
• ノードおよびグラフ分類の両方を想定した、トポロジーおよび特徴量の性質を制御した6つの洗練されたデータセットを用いた。
• 忠実度、包括性、妥当性、十分性の複数の説明可能性メトリクスを適用し、説明の質を評価した。
• GNNアーキテクチャの構成要因（例：アグリゲーションメカニズム）が説明の質に与える影響を分離するためのアブレーションスタディを実施した。
• 勾配ベース、摂動ベース、分解ベース、スレーブベースの説明手法カテゴリ間で、説明を比較した。
• 忠実度と妥当性のトレードオフを用いて、人間がアノテートした正解説明とモデルが生成した説明との乖離を分析した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: GNNアーキテクチャの選択が、説明の質および一貫性にどのように影響するか？
• RQ2 RQ2: 勾配ベースや摂動ベースなどの異なる説明手法カテゴリが、さまざまなGNNアーキテクチャおよびタスクにおいてどのように性能を発揮するか？
• RQ3 RQ3: データの特性（例：特徴量の有無、グラフトポロジー）が、説明手法の有効性にどのように影響するか？
• RQ4 RQ4: 忠実度バイアスや正解ラベル付けにおける人間バイアスといった、現在の評価手法における主な落とし穴は何か？
• RQ5 RQ5: ノード分類とグラフ分類において、どの説明手法タイプが最も適しているか、その理由は何か？

主な発見

• 勾配ベースの説明手法は、ノード分類タスクにおいて他のカテゴリを常に上回る性能を示しており、ターゲットノードの近傍に集中する局所的な受容場所の特性によるものと推測される。
• エッジベースの説明手法、特に摂動または勾配技術を用いた手法は、ノードベースの手法を顕著に上回り、ノード特徴量が存在しない状況においても、グラフ分類タスクで顕著な優位性を示した。
• 忠実度だけではバイアスが生じる——特にグラフ分類においては、和集合アグリゲーションによりグラフ埋め込みのノルムが低下し、正しい部分構造に対しても忠実度が低下する傾向がある。
• 高い忠実度と低い妥当性（または逆）の不一致は、通常、人間が期待する概念とは一致しない非直感的またはバイアスのかかった概念をGNNが学習していることを示唆する。
• GNNアーキテクチャは、説明可能性の観点から著しく異なるため、説明手法が真にモデルに依存しない（モデルアーキテクチャに依存しない）という仮定は疑わしい。
• GNNにおけるアグリゲーションメカニズムは、説明可能性に顕著な影響を与えるが、まだ十分に検討されていない。今後の研究では、アグリゲーションに配慮した説明手法の設計が求められる。