[論文レビュー] Global Explainability of GNNs via Logic Combination of Learned Concepts

Steve Azzolin, Antonio Longa+3 more|arXiv (Cornell University)|Oct 13, 2022

Topic Modeling被引用数 11

ひとこと要約

本稿では、局所的な説明から学習されたグラフィカルコンセプトを組み合わせることで、人間が解釈可能な論理式を生成する、グラフニューラルネットワーク（GNN）のための最初のグローバルな解釈可能手法であるGLGExplainerを紹介する。完全に微分可能アーキテクチャを用いて、局所的説明をコンセプトのブール結合に集約し、合成データおよび実世界のデータセットの両方で高い忠実度と忠実性を達成している。

ABSTRACT

While instance-level explanation of GNN is a well-studied problem with plenty of approaches being developed, providing a global explanation for the behaviour of a GNN is much less explored, despite its potential in interpretability and debugging. Existing solutions either simply list local explanations for a given class, or generate a synthetic prototypical graph with maximal score for a given class, completely missing any combinatorial aspect that the GNN could have learned. In this work, we propose GLGExplainer (Global Logic-based GNN Explainer), the first Global Explainer capable of generating explanations as arbitrary Boolean combinations of learned graphical concepts. GLGExplainer is a fully differentiable architecture that takes local explanations as inputs and combines them into a logic formula over graphical concepts, represented as clusters of local explanations. Contrary to existing solutions, GLGExplainer provides accurate and human-interpretable global explanations that are perfectly aligned with ground-truth explanations (on synthetic data) or match existing domain knowledge (on real-world data). Extracted formulas are faithful to the model predictions, to the point of providing insights into some occasionally incorrect rules learned by the model, making GLGExplainer a promising diagnostic tool for learned GNNs.

研究の動機と目的

• GNNのグローバルな解釈可能手法が、個別例レベルの説明を超えてモデル全体の意思決定行動を捉えるのを補完するという欠如を解消すること。
• 既存のグローバル手法の制限を克服すること、例えば構成的構造を持たない合成プロトタイプを生成する、またはドメイン知識を必要とするものである。
• 局所的説明から抽出した学習済みグラフィカルコンセプトから論理式を導出し、忠実で人間が解釈可能なグローバルな説明を可能にすること。
• GNNが学習した正しいルールと誤ったルールの両方を明らかにする診断ツールを提供することで、実世界の応用におけるモデルのデバッグと信頼性構築を支援すること。

提案手法

• 各予測のためのインスタンスレベルの部分グラフ説明を、市販の局所的説明ツールを用いて抽出する。
• 微分可能クラスタリング機構を用いて局所的説明をグラフィカルコンセプトにクラスタリングし、解釈可能な高レベルユニットを形成する。
• ノード特徴量とコンセプトをクラス予測にマップするエンドツーエンド微分可能なモデル（E-LEN）を訓練し、論理ベースの意思決定ルールを学習する。
• ハードプロトタイプ割り当てを強制するための離散化トリックを適用し、コンセプト学習の安定性を高め、論理式の忠実度を向上させる。
• 交差エントロピー、コンセプト純度、忠実度の目的関数を組み合わせた損失関数を用いて、パイプライン全体をエンドツーエンド最適化する。
• 最終的な論理式を学習済みコンセプトのブール結合として抽出し、モデル予測およびデータドメインの意味論と整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 GNNのグローバルな説明は、局所的説明から抽出した学習済みグラフィカルコンセプトに基づく論理式として効果的に表現可能か？
• RQ2 完全に微分可能なアーキテクチャは、GNNの行動を忠実に表現する整合性のある高レベル論理ルールに、局所的説明を効果的に統合できるか？
• RQ3 本手法は、合成データおよび実世界データの両方において、XGNN や GLocalX などの既存のグローバル説明ツールよりも忠実度と解釈可能性の面で優れているか？
• RQ4 GLGExplainerは、GNNが学習した誤ったまたは誤解を招くルールをどの程度効果的に特定できるか？診断ツールとしての有効性は？
• RQ5 離散化トリックは、コンセプト学習の品質および安定性、および論理式の忠実度にどのような影響を及えるか？

主な発見

• GLGExplainerは、論理式を用いてGNN行動を要約する際、高い忠実度（BAMultiShapesでは最大0.95、HINでは0.89、Mutagenicityでは0.84）を達成している。
• 最適なプロトタイプ数（BAMultiShapesでは6、Mutagenicityでは2、HINでは4）を用いることで、忠実度とコンセプト純度のバランスが取れ、Mutagenicityではコンセプト純度が0.99に達している。
• 離散化トリックにより、コンセプトベクトルのエントロピーがゼロに低下し、非離散化バージョンと比較して忠実度が2倍以上に上昇し、論理式の忠実度が顕著に向上した。
• GLGExplainerは、モデルが学習した正しいルールと、まれに誤ったルールの両方を効果的に特定でき、診断能力を示している。
• XGNNは、評価されたすべてのタスクで意味のあるグローバルな説明を生成できず、本手法がそれを上回っている。
• 忠実度と論理式の正確性の間に強い相関が認められ、抽出された論理式がモデルの予測を信頼できる代理指標として機能していることが示された。