[論文レビュー] Shapley-based explainability on the data manifold.

Christopher Frye, Damien de Mijolla+3 more|arXiv (Cornell University)|Jun 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 24被引用数 10

ひとこと要約

本稿では、特徴量が相関している現実のデータとは対照的に、標準的なシャープレイ値が相関のない特徴量を仮定しているという根本的な欠陥を、生成モデルまたは教師あり学習を用いて、多様体上に位置するデータ補完を生成することで是正する、多様体に配慮したシャープレイ解釈フレームワークを提案する。この手法により、高次元かつ相関のあるデータにおいて一般的に生じる、誤解を招く、あるいは解釈不能な説明が排除され、モデルの解釈可能性と信頼性が著しく向上する。

ABSTRACT

Explainability in machine learning is crucial for iterative model development, compliance with regulation, and providing operational nuance to model predictions. Shapley values provide a general framework for explainability by attributing a model's output prediction to its input features in a mathematically principled and model-agnostic way. However, practical implementations of the Shapley framework make an untenable assumption: that the model's input features are uncorrelated. In this work, we articulate the dangers of this assumption and introduce two solutions for computing Shapley explanations that respect the data manifold. One solution, based on generative modelling, provides flexible access to on-manifold data imputations, while the other directly learns the Shapley value function in a supervised way, providing performance and stability at the cost of flexibility. While the commonly used ``off-manifold'' Shapley values can (i) break symmetries in the data, (ii) give rise to misleading wrong-sign explanations, and (iii) lead to uninterpretable explanations in high-dimensional data, our approach to on-manifold explainability demonstrably overcomes each of these problems.

研究の動機と目的

• 現実のデータが相関しているにもかかわらず、入力特徴量が無相関であると仮定する標準的なシャープレイ値説明の根本的欠陥を是正すること。
• 高次元かつ相関のある特徴量空間において、対称性の破れ、誤った符号の帰属、解釈不能な説明を回避すること。
• 内在するデータ多様体を尊重する、モデルに依存しない数学的に整合性のある特徴量帰属の手法を開発すること。
• 現実の機械学習応用において解釈可能性と公平性を維持する、多様体外のシャープレイ値の実用的で安定した代替手法を提供すること。

提案手法

• 特徴量の集合に対する現実的で多様体上に位置するデータ補完を生成モデルを用いてサンプリングし、反事実的入力をデータ分布に含まれる形に保証する。
• 条件付き生成モデルを用いて、入力特徴量の多様体上での摂動における期待モデル出力を推定する。
• 多様体上に位置するデータを用いてシャープレイ値を直接予測するスラッグモデルを訓練し、柔軟性を犠牲にして安定性と性能を向上させる。
• すべての集合と限界貢献が観測されたデータパターンと整合するように、多様体正則化されたデータ空間上でシャープレイ値フレームワークを適用する。
• 統計的に妥当な特徴量設定の集合に制限することで、データ多様体をシャープレイ計算に統合する。

実験結果

リサーチクエスチョン

• RQ1 相関のある特徴量が存在する状況で、多様体外のシャープレイ値はなぜ失敗するのか。具体的には、どのようなアーチファクトを生じるのか。
• RQ2 多様体上でのデータ補完は、シャープレイベースの説明の信頼性と解釈可能性を向上させることができるか。
• RQ3 多様体上でのシャープレイ推定において、生成モデルと教師あり学習は、安定性、正確性、柔軟性の観点でどのように比較できるか。
• RQ4 多様体に配慮したシャープレイ値は、対称性の破れや誤った符号の帰属問題をどの程度解消するのか。

主な発見

• 多様体外のシャープレイ値は、データの対称性を破る可能性があり、一貫性のない、あるいは直感に反する特徴量帰属を生じる。
• 多様体外の説明は頻繁に誤った符号の帰属を生じる。これは、特徴量が真の影響とは逆方向に影響を与えているように見えることである。
• 多様体上でのシャープレイ値は、すべての反事実的入力が現実的で、データ分布と整合することを保証するため、これらのアーチファクトを排除する。
• 生成モデルアプローチは、データ構造を保持し、誤った説明を低減する、分布に配慮した柔軟な補完を可能にする。
• 教師あり学習の代替手法は、新しいデータ分布への適応性が低下する代わりに、より安定的かつ正確なシャープレイ推定を提供する。