[論文レビュー] RelEx: A Model-Agnostic Relational Model Explainer

Yue Zhang, David DeFazio+1 more|arXiv (Cornell University)|May 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 7

ひとこと要約

RelEx は、勾配ではなく予測出力のみを用いるモデルに依存しない関係的説明手法であり、GNN や SRL モデルなどのブラックボックス関係的モデルに対して局所的で解釈可能な説明を生成する。局所的微分可能近似を用いて説明を構築し、関係構造（エッジおよび特徴）に対して解釈可能なマスクを学習することで、GNN-Explainer よりも良好または同等の性能を達成する。モデル微分可能性を必要とせず、ドメインに適した多様な説明を提供する。

ABSTRACT

In recent years, considerable progress has been made on improving the interpretability of machine learning models. This is essential, as complex deep learning models with millions of parameters produce state of the art results, but it can be nearly impossible to explain their predictions. While various explainability techniques have achieved impressive results, nearly all of them assume each data instance to be independent and identically distributed (iid). This excludes relational models, such as Statistical Relational Learning (SRL), and the recently popular Graph Neural Networks (GNNs), resulting in few options to explain them. While there does exist one work on explaining GNNs, GNN-Explainer, they assume access to the gradients of the model to learn explanations, which is restrictive in terms of its applicability across non-differentiable relational models and practicality. In this work, we develop RelEx, a model-agnostic relational explainer to explain black-box relational models with only access to the outputs of the black-box. RelEx is able to explain any relational model, including SRL models and GNNs. We compare RelEx to the state-of-the-art relational explainer, GNN-Explainer, and relational extensions of iid explanation models and show that RelEx achieves comparable or better performance, while remaining model-agnostic.

研究の動機と目的

• GNN や SRL のような非微分可能な関係的モデルに対して、モデルに依存しない説明手法が不足しているという問題に対処すること。
• 内部勾配やアーキテクチャにアクセスできない状況下でも、ブラックボックス関係的モデルの説明を可能にすること。
• 1 つのインスタンスに対して複数の多様な説明を提供し、ドメイン視点からの解釈性を向上させること。
• 合成および実世界のグラフデータセット上で RelEx を評価し、従来手法に比べて定量的・定性的に優れた性能を示すこと。

提案手法

• RelEx は、注目しているノードの周囲で、摂動を加えた入力サンプルを用いてブラックボックス関係的モデルの局所的微分可能近似を構築する。
• ブラックボックスの予測に忠実になるように最適化することで、関係構造（エッジおよび特徴）に対する解釈可能なマスクを学習する。
• ブラックボックスの勾配に依存せずに微分可能サンプリングとマスク学習を可能にするために、シグモイドまたはガンブル・ソフトマックスの緩和を用いる。
• 説明の多様性を促進するために、同一インスタンスに対して独立に学習された2つの説明間の交差エントロピーを最大化する。
• 摂動に基づいて訓練されたサーヴィレートモデルを用いて、予測に寄与する最も影響力のある部分グラフ（近傍）を特定することで説明を生成する。
• このアプローチは GNN および HL-MRF に適用され、関係的学習モデル全体に広く適用可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 勾配アクセスを必要とせず、GNN-Explainer らしい勾配ベース手法と同等の性能を達成できるモデルに依存しない関係的説明手法は実現可能か？
• RQ2 RelEx は、同一予測に対して、異なる関係的構造の側面を反映する多様で意味のある説明を生成できるか？
• RQ3 RelEx は、合成および実世界のグラフ構造データの説明において、最先端の説明手法を上回るか同等の性能を示せるか？
• RQ4 ノード分類タスクにおいて、RelEx は正解の関係的構造（真の関係構造）を効果的に特定できるか？

主な発見

• MUTAG データセットでは、RelEx は GNN-Explainer や他のベースラインと同等または優れた不一致スコアを達成した。RelEx_Gumbel は 0.05573、GNN-Explainer は 0.05557 を記録した。
• 合成データセット（木、グリッド、BA）では、RelEx がヘキサゴナルループや -NO₂ 群といったコアなトポロジカル構造を的確に捉え、真の関係的パターンと一致または上回った。
• RelEx の多様な説明機能により、同じノードに対して複数の妥当な説明が生成された。たとえば、1 つの説明はペンタゴナルおよびヘキサゴナルループを捉え、別の説明はノイズの多いエッジを除外した。
• 定性的な結果から、RelEx_Gumbel は炭素原子におけるヘキサゴナルループ構造と窒素原子における -NO₂ 構造を正しく同定しており、ドメイン知識と整合的であった。
• RelEx はモデルタイプにかかわらず頑健に動作し、GNN および HL-MRF の両方を効果的に説明した。これにより、モデルに依存しない性質が裏付けられた。