[論文レビュー] The many Shapley values for model explanation

Mukund Sundararajan, Amir Najmi|arXiv (Cornell University)|Aug 22, 2019

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 36

ひとこと要約

この論文は、モデル説明のための複数の Shapley ベースの寄与度推定法を分析し、CES の問題的挙動を示し、基準となる Baseline Shapley (BShap) を一意性保証とともに提案し、Integrated Gradients (IG) と比較します。

ABSTRACT

The Shapley value has become a popular method to attribute the prediction of a machine-learning model on an input to its base features. The use of the Shapley value is justified by citing [16] showing that it is the \emph{unique} method that satisfies certain good properties (\emph{axioms}). There are, however, a multiplicity of ways in which the Shapley value is operationalized in the attribution problem. These differ in how they reference the model, the training data, and the explanation context. These give very different results, rendering the uniqueness result meaningless. Furthermore, we find that previously proposed approaches can produce counterintuitive attributions in theory and in practice---for instance, they can assign non-zero attributions to features that are not even referenced by the model. In this paper, we use the axiomatic approach to study the differences between some of the many operationalizations of the Shapley value for attribution, and propose a technique called Baseline Shapley (BShap) that is backed by a proper uniqueness result. We also contrast BShap with Integrated Gradients, another extension of Shapley value to the continuous setting.

研究の動機と目的

• Shapley 値を用いてモデルの予測を入力特徴量に帰属させる動機づけを説明し、運用上の実装による非一意性に対処する。
• さまざまな Shapley 拡張（CES、BShap、RBShap、IG）が、モデル、データ、ベースラインの選択にどのように依存するかを分析する。
• Baseline Shapley (BShap) の公理的基盤と一意性の結果を提供し、それらをコスト共有理論と関連づける。
• Baseline Shapley を Integrated Gradients および他の Shapley ベースのアプローチと比較する。
• これらの方法の実証的含意を、糖尿病予測のケーススタディを通じて示す。

提案手法

• 実数値モデル f と特徴集合 N を用いて寄与推定問題を定式化する。
• 条件付き期待値 Shapley (CES)、Baseline Shapley (BShap)、ランダムベースライン Shapley (RBShap) の3つの Shapley ベース拡張を定義し、Integrated Gradients (IG) と対比する。
• 方法を比較するための公理（ダミー、効率性、線形性、対称性、アファインスケール不変性、需要の単調性、比例性）を導入する。
• CES が参照分布 D に依存し、直感に反する寄与を与える可能性があることを示し、Downward Closure 性と CES( hat{D} ) を計算するアルゴリズムを導入する。
• モデル説明をコスト共有へと理論的に還元することで、対応する公理集合の下で BShap および IG の一意性を確立する。
• Distribution の選択を介して CES と BShap を関連付け、RBShap を平均化の変種として議論する。

実験結果

リサーチクエスチョン

• RQ1 異なる Shapley ベースの寄与推定法（CES、BShap、RBShap、IG）は、仮定、計算、出力においてどのように異なるか。
• RQ2 Baseline Shapley (BShap) と Integrated Gradients (IG) がモデル説明の一意解となる公理は何か。
• RQ3 CES の落とし穴、特に特徴量分布とスパース性への依存が、寄与度推定の品質にどう影響するか。
• RQ4 モデル説明をコスト共有へ還元するとき、BShap と IG の関係は何を意味するか。
• RQ5 実データ（例：糖尿病の進行タスク）を用いたこれらの寄与推定法の実務的影響を示す実証的証拠は何か。

主な発見

• CES の寄与は選択された特徴分布 D に強く依存し、スパース性に敏感になりうる。
• CES はダミー特徴に非ゼロの寄与を割り当てうるほか、単純な例で線形性や他の直感に反する挙動を示すことがある。
• Baseline Shapley (BShap) は主要な公理（線形性、ダミー、ASI、DM、対称性）を満たし、これらの公理の下で寄与問題に対する一意性を持つ。
• Integrated Gradients (IG) は線形性、ダミー、ASI、比例性、対称性を満たす唯一の手法であり、BShap に対する独自の原理的代替を提供する。
• BShap は特定の分布の下で CES と整合するが、CES とは異なり分布に依存せず、説明の文脈を反映する明示的なベースラインを使用する。
• 糖尿病予測のケーススタディでは、寄与推定法がニュアンスのある、潜在的には直感に反する結果を生む可能性を示し、データセットは BMI、血圧、血清測定値を強い寄与因子として 35% の分散（R^2）を説明する場合がある。
• RBShap と CES と RBShap の関係について議論し、独立特徴分布の下でベースラインを平均化することで CES を回復できることを示す。