[論文レビュー] Feature relevance quantification in explainable AI: A causal problem

Dominik Janzing, Lenon Minorics+1 more|arXiv (Cornell University)|Oct 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 155

ひとこと要約

本論文は、特徴の関連度を観測条件付きではなく介入的（do演算子）周辺期待値を用いて定量化すべきであると主張し、これらの選択の下でShapley値がどのように振る舞うかを分析し、近似として条件付き期待値を用いるSHAPを批判する。

ABSTRACT

We discuss promising recent contributions on quantifying feature relevance using Shapley values, where we observed some confusion on which probability distribution is the right one for dropped features. We argue that the confusion is based on not carefully distinguishing between observational and interventional conditional probabilities and try a clarification based on Pearl's seminal work on causality. We conclude that unconditional rather than conditional expectations provide the right notion of dropping features in contradiction to the theoretical justification of the software package SHAP. Parts of SHAP are unaffected because unconditional expectations (which we argue to be conceptually right) are used as approximation for the conditional ones, which encouraged others to `improve' SHAP in a way that we believe to be flawed.

研究の動機と目的

• モデル出力を入力に帰属させる際に、特徴を取り除く場合に適切な確率分布を明らかにする。
• 特徴帰属における観測条件付き確率と介入条件付き確率を区別する。
• 全体平均に対する帰属の際に、周辺期待値（モジュールの介入）と条件付き期待値を用いたときのShapley値の挙動を評価する。
• 介入的期待値を用いることで、帰属における非感度や対称性の欠如といった問題が解消されるかを評価する。
• SHAPフレームワークが因果的観点とどのように関連するか、そしてどこが妥当でありどこが限界であるかについて指針を提供する。

提案手法

• 固定ベースラインを用いた特徴帰属の公理的基盤をレビューし、統合勾配法やShapley値を含む。
• 2つの候補となる簡略関数f_Tを定義する:(i) X_T=x_Tを与えた条件付き期待値、(ii) 周辺期待値。帰属への影響を論じる。
• Pearlのdo演算を用いて、X_Tに帰属する際に介入的（do）期待値が周辺期待値に対応することを示唆する。
• 因果ダイアグラムを提示し、X_Tへの介入が特定の依存関係を壊す方法を説明し、特徴を削除する正しい概念として周辺期待値を正当化する。
• 条件付き期待値を用いると、意味をなさない帰属（無関係な特徴に対して非ゼロの帰属など）が生じ得ることを証明する。
• KernelSHAPが重み付き最小二乗法によりShapley値を計算する方法と、実践的にg(T)を周辺期待値と条件付きのどちらで近似するかを説明する。

実験結果

リサーチクエスチョン

• RQ1 入力に出力を帰属させる際に、特徴を削除する正しい確率的概念は何か？
• RQ2 観測条件付き確率と介入（do）確率のどちらが帰属における特徴の関連性をより適切に捉えるか？
• RQ3 周辺期待値と条件付き期待値の相対で帰属が定義されるとき、Shapley値はどのように振る舞うか？
• RQ4 介入的推論は、帰属フレームワークにおける偽感度や対称性の違反といった問題を解決できるか？
• RQ5 SHAPは因果的観点とどのように関係し、概念的に妥当な点と欠陥があるのはどこか？

主な発見

• 周辺（介入的）期待値はdo演算と整合し、特徴の差分を帰属させる上で概念的に正しい。
• 条件付き期待値を用いると、無関係な特徴に対して非ゼロの帰属が生じ、直感的な感度を侵害する。
• SHAPのカーネルベースの近似は周辺期待値を近似する場合はほとんど影響を受けないが、条件付き期待値に依拠するアプローチは概念的に欠陥がある。
• 実証的なシミュレーションは、周辺ベースのShapley値がガウス分布および実データ設定で真の寄与とより良く一致することを示す。
• 本論文は、SHAPのいくつかの要素は許容できる近似である一方、因果介入を反映するには改訂が必要な点を明らかにする。
• 非因果的または純粋に観測的な帰属は、混同行列や特徴の依存分布の影響により特徴の影響を誤って表現するリスクがある。