[論文レビュー] Problems with Shapley-value-based explanations as feature importance measures

I. Elizabeth Kumar, Suresh Venkatasubramanian+2 more|arXiv (Cornell University)|Feb 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 109

ひとこと要約

本論文はShapley値に基づく特徴量の説明を批判し、数学的および人間中心的な欠陥を主張し、介入値関数と条件付き値関数の違い、加法性の制約、説明可能性への含意を論じている。

ABSTRACT

Game-theoretic formulations of feature importance have become popular as a way to "explain" machine learning models. These methods define a cooperative game between the features of a model and distribute influence among these input elements using some form of the game's unique Shapley values. Justification for these methods rests on two pillars: their desirable mathematical properties, and their applicability to specific motivations for explanations. We show that mathematical problems arise when Shapley values are used for feature importance and that the solutions to mitigate these necessarily induce further complexity, such as the need for causal reasoning. We also draw on additional literature to argue that Shapley values do not provide explanations which suit human-centric goals of explainability.

研究の動機と目的

• Shapley値に基づく説明がモデルの説明における特徴量の重要性を信頼性高く反映しているかを評価する。
• 特徴量の重要性のためにShapley値を用いることから生じる数学的問題を特定する。
• 確立された説明可能性の枠組みの下で、Shapley値ベースの説明の人間中心性の適切さを評価する。
• Shapleyベースの説明が意味を成す可能性のある条件や代替案を提案する。

提案手法

• Shapley値の基盤と特徴量重要性への適用をレビューおよび形式的に分析する。
• v_f,x の介入値関数と条件付き値関数を比較し、それらの計算上の影響を検討する。
• 非加法モデルにおける加法性やその他の公理を検討し、解釈可能性を評価する。
• 因果的考慮と事前知識が帰属に与える影響（非対称Shapley値）について論じる。
• 対比的説明と規範的評価フレームワークを用いた説明に対する人間中心的視点を分析する。

実験結果

リサーチクエスチョン

• RQ1 Shapley値に基づく説明は、人間の説明可能性の概念と対比的推論という観点と一致するか？
• RQ2 特徴量重要性に対して条件付き値関数と介入値関数を使用することから生じる数学的問題は何か？
• RQ3 加法性やその他の公理は、非加法モデルにおけるShapleyベースの帰属の解釈可能性をどのように制約するか？
• RQ4 Shapleyベースの説明は、ずれが生じることなく、実行可能な救済策や規範的評価を意味のある形で支援できるか？
• RQ5 どのような制約された設定下でShapleyベースの説明は明確な解釈を認め得るか？

主な発見

• Shapley-value explanations can attribute influence to features with no interventional effect due to conditional value functions.
• Interventional methods require out-of-distribution model evaluation, leading to misleading explanations for in-distribution samples.
• Additivity axioms constrain attribution in additive models and may be uninformative for non-additive models.
• Redundant or highly correlated features can distort attributions depending on feature inclusion choices.
• Causal knowledge can mitigate some issues but introduces dependence on prior assumptions and may undermine universality of explanations.
• Human-centric critiques suggest Shapley explanations often fail to meet the contrastive and actionable expectations central to explanations.