[論文レビュー] GNNX-BENCH: Unravelling the Utility of Perturbation-based GNN Explainers through In-depth Benchmarking

Mert Kosan, Samidha Verma+5 more|arXiv (Cornell University)|Oct 3, 2023

Ferroelectric and Negative Capacitance DevicesEngineering被引用数 3

ひとこと要約

本稿では、複数のデータセットおよび摂動タイプをカバーする、摂動ベースのGNN解釈手法を評価する包括的なベンチマーク、GNNX-BENCHを紹介する。本研究では、RCExplainerがノイズ下でも最も安定的かつ効果的な手法であることが特定された一方で、トポロジー的制約の違反によって、反事実的解釈の実現可能性に深刻な制限があることが明らかになった。

ABSTRACT

Numerous explainability methods have been proposed to shed light on the inner workings of GNNs. Despite the inclusion of empirical evaluations in all the proposed algorithms, the interrogative aspects of these evaluations lack diversity. As a result, various facets of explainability pertaining to GNNs, such as a comparative analysis of counterfactual reasoners, their stability to variational factors such as different GNN architectures, noise, stochasticity in non-convex loss surfaces, feasibility amidst domain constraints, and so forth, have yet to be formally investigated. Motivated by this need, we present a benchmarking study on perturbation-based explainability methods for GNNs, aiming to systematically evaluate and compare a wide range of explainability techniques. Among the key findings of our study, we identify the Pareto-optimal methods that exhibit superior efficacy and stability in the presence of noise. Nonetheless, our study reveals that all algorithms are affected by stability issues when faced with noisy data. Furthermore, we have established that the current generation of counterfactual explainers often fails to provide feasible recourses due to violations of topological constraints encoded by domain-specific considerations. Overall, this benchmarking study empowers stakeholders in the field of GNNs with a comprehensive understanding of the state-of-the-art explainability methods, potential research problems for further enhancement, and the implications of their application in real-world scenarios.

研究の動機と目的

• 多様な設定において、摂動ベースの事実的および反事実的GNN解釈手法を体系的に評価・比較すること。
• ノイズ、アーキテクチャの変化、最適化の確率的変動の下で、現在の解釈可能性手法における安定性と実現可能性の問題を特定すること。
• 行動可能なインサイトを提供する反事実的解釈手法が、高リスク分野において極めて重要であるにもかかわらず、そのベンチマークの欠如を是正すること。
• タスクやデータセットにわたる実証的性能と頑健性に基づいて、実務家に実用的な推奨事項を提供すること。

提案手法

• 本研究では、ogbg-molhivやIMDB-Bを含む6つの標準的なGNNベンチマークデータセット上で、7つの事実的および4つの反事実的摂動ベースの解釈手法をベンチマークした。
• 標準的な指標（すなわち、十分性と忠実度）を用いて手法を評価し、解釈がモデルの予測をどの程度正確に再現できるかを測定した。
• トポロジー的ノイズ（エッジの削除）を制御的に注入し、GNNアーキテクチャと学習の確率的変動を変化させることで、頑健性をテストした。
• 解釈の実現可能性は、分子グラフにおける化学結合価数などの分野固有のトポロジー的制約を満たしているかどうかを確認することで評価した。
• 再現可能性を確保し、将来的なベンチマークを促進するために、整理された公開コードベースをリリースした。
• 実務家がタスクの種別、データサイズ、応用文脈に基づいて解釈手法を選択できるように、意思決定フローチャートを含めた。

Figure 1: Structuring the space of the existing methods on Gnn explainability as follows. Gradient: SA [ 7 ] , Guided-BP [ 7 ] , Grad-CAM [ 34 ] ; Decomposition: Excitation-BP [ 34 ] , GNN-LRP [ 39 ] , CAM [ 34 ] ; Perturbation: GNNExplainer [ 58 ] , PGExplainer [ 30 ] , SubgraphX [ 62 ] , GEM [ 27

実験結果

リサーチクエスチョン

• RQ1 ノイズ下で、多様なGNNアーキテクチャとデータセットにおいて、摂動ベースの事実的および反事実的GNN解釈手法はどのように性能を発揮するか？
• RQ2 反事実的解釈手法は、分野固有の構造的制約を尊重する実現可能な代替策（ recourse ）をどの程度生成できるか？
• RQ3 最適化の確率的変動やハイパーパramータ設定の変化の下で、どの解釈手法が優れた安定性と一貫性を示すか？
• RQ4 入力摂動に対する忠実度、十分性、頑健性の観点から、事実的および反事実的解釈手法はどのように比較できるか？
• RQ5 スケーラビリティとパフォーマンスの観点から、インダクティブとトランスダクティブな解釈手法にはどのような主なトレードオフがあるか？

主な発見

• RCExplainerは、すべてのデータセットにおいて平均的に最も高い十分性を達成し、Mutagenicityでは0.96 ±0.00、IMDB-Bでは0.98 ±0.00を記録した。また、ノイズ下でも優れた安定性を示した。
• すべての解釈手法、RCExplainerを含めて、トポロジー的ノイズ下で性能が低下した。これは、入力摂動に対して固有の感受性を示していることを示している。
• CF-GNNExplainer や CLEAR などの反事実的解釈手法は、無効な分子構造を引き起こすトポロジー的制約の違反により、頻繁に実現不可能な代替策を生成した。
• CF 2 は AIDS で高い性能（0.99 ±0.01）を示したが、Proteins では失敗（NA）しており、タスク固有の制限が顕著に現れた。
• TAGExplainer (2) は、TAGExplainer (1) よりも顕著な性能向上を示さず、2段階の精錬プロセスに限界があることが示唆された。
• 本研究では、どの指標においても一貫して他を上回る解釈手法は存在しないことが明らかになったが、RCExplainerはグラフ分類タスクにおいて最も頑健で信頼性の高い選択肢として浮き彫りになった。

Figure 2: Sufficiency of the factual explainers against the explanation size. For factual explanations, higher is better. We omit those methods for a dataset that threw an out-of-memory (OOM) error.