[論文レビュー] A Unified Approach to Interpreting Model Predictions

Scott Lundberg, Su‐In Lee|arXiv (Cornell University)|May 22, 2017

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 7,621

ひとこと要約

本論文は SHAP を紹介する。統一された加法的特徴寄与フレームワークで、局所的な正確性、欠損性、整合性を独自に満たし、six prior methods を統合してモデル非依存とモデル特有の近似を可能にする。理論的保証と実践的推定手法（Kernel SHAP、Deep SHAP）を提供し、実験は人間の直観へのより良い整合を示す。

ABSTRACT

Understanding why a model makes a certain prediction can be as crucial as the prediction's accuracy in many applications. However, the highest accuracy for large modern datasets is often achieved by complex models that even experts struggle to interpret, such as ensemble or deep learning models, creating a tension between accuracy and interpretability. In response, various methods have recently been proposed to help users interpret the predictions of complex models, but it is often unclear how these methods are related and when one method is preferable over another. To address this problem, we present a unified framework for interpreting predictions, SHAP (SHapley Additive exPlanations). SHAP assigns each feature an importance value for a particular prediction. Its novel components include: (1) the identification of a new class of additive feature importance measures, and (2) theoretical results showing there is a unique solution in this class with a set of desirable properties. The new class unifies six existing methods, notable because several recent methods in the class lack the proposed desirable properties. Based on insights from this unification, we present new methods that show improved computational performance and/or better consistency with human intuition than previous approaches.

研究の動機と目的

• 複雑なモデルにおける高いモデル精度とともに解釒可能性のある解釈可能な説明の必要性を動機づける。
• 既存の方法を包含する加法的特徴寄与の統一フレームワークを導入する。
• このクラス内で望ましい性質を満たす一意の解を確立し、ゲーム理論的 Shapley values へと結びつける。
• 実用的な SHAP 値推定手法を開発し、従来のアプローチより改善を実証する。

提案手法

• 加法的特徴寄与説明を、バイナリの簡易入力の線形モデル（phi_i coefficient）として定義する。
• この定義の下で、六つの既存の方法が同じ説明モデル形式に適合することを示す（LIME、DeepLIFT、Layer-Wise Relevance Propagation、Shapley-based methods）。
• 協同ゲーム理論を用いて、局所正確性、欠損性、整合性を満たす一意の解が存在することを証明する（Shapley values）。
• SHAP 値を、元のモデルの条件付き期待値関数の Shapley 値として定義する。
• モデル非依存（Kernel SHAP、Shapley sampling）およびモデル特有（Linear SHAP、Low-Order SHAP、Max SHAP、Deep SHAP）近似を提案する。
• SHAP 値を計算するアルゴリズムを提供し、それらの既存手法との関連を論じる。

実験結果

リサーチクエスチョン

• RQ1 加法的特徴寄与法は単一の理論的枠組みの下で統一できるだろうか。
• RQ2 説明が信頼でき、かつ人間の判断と直感に直結しているべき性質は何か。
• RQ3 モデル非依存とモデル特有の両方のシナリオで、SHAP 値をどのように効率的に推定できるか。
• RQ4 SHAP に基づく説明は、画像・テキスト/DL モデルなどのタスクで従来の方法より人間の直感とより良く整合するか。
• RQ5 SHAP フレームワーク内で既存の方法をどのように改善・拡張できるか。

主な発見

• 局所正確性、欠損性、整合性を満たす入力マッピングに対して一意の加法的説明モデルが存在する。
• SHAP 値は six prior methods を統合し、Shapley 値を介した特徴寄与の原理的根拠を提供する。
• Kernel SHAP はモデル非依存の回帰ベースの推定を提供し、以前の Shapley-valued methods に比べてサンプル効率が向上する。
• モデル特有のバリアント（Linear SHAP、Deep SHAP、Max SHAP）は特定のアーキテクチャに対してより速く、またはより正確な寄与付けを可能にする。
• 被験者を対象とした研究は、SHAP の説明が LIME や DeepLIFT よりも人間の直感とより近く整合することを示している（試験された状況で）。
• MNIST に関する実験は、SHAP とその派生がクラス差と入力の重要性をよりよく反映する説明を提供することを示している。