[論文レビュー] An unexpected unity among methods for interpreting model predictions

Scott Lundberg, Su‐In Lee|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 104

ひとこと要約

この論文は、Expectation Shapley (ES) 値に基づく特徴重要度のモデル依存性のない加法表現が、さまざまなモデル解釈手法を統合・正当化し、それらを LIME、DeepLIFT、Layer-wise Relevance Propagation を ES 値近似として結びつけることを示している。

ABSTRACT

Understanding why a model made a certain prediction is crucial in many data science fields. Interpretable predictions engender appropriate trust and provide insight into how the model may be improved. However, with large modern datasets the best accuracy is often achieved by complex models even experts struggle to interpret, which creates a tension between accuracy and interpretability. Recently, several methods have been proposed for interpreting predictions from complex models by estimating the importance of input features. Here, we present how a model-agnostic additive representation of the importance of input features unifies current methods. This representation is optimal, in the sense that it is the only set of additive values that satisfies important properties. We show how we can leverage these properties to create novel visual explanations of model predictions. The thread of unity that this representation weaves through the literature indicates that there are common principles to be learned about the interpretation of model predictions that apply in many scenarios.

研究の動機と目的

• 複雑なモデルからの予測を解釈する必要性を動機づけ、信頼と洞察を育む。
• 特定の公理の下で最適な加法的特徴重要度表現を提案・形式化する。
• ES 値が既存の説明手法を統一し、それらの設計選択を正当化する方法を示す。
• データセットを横断したモデル予測を解釈・診断するための可視化戦略を提供する。

提案手法

• Shapley 値に基づく予測説明フレームワークを採用し、入力特徴間でクレジットを分配する。
• 効率性、対称性、単調性の公理を満たす唯一の加法解として ES 値を導出する。
• ES 値を得る特定のカーネル（Shapley カーネル）と、解として ES 値を生み出す損失/正則化の設定を定義する。
• ES 値を既存の手法（LIME、DeepLIFT、Layer-wise Relevance Propagation）への近似または特別なケースとして結びつける。
• ES 値を、予測の力のような加法的分解として表す可視化アプローチを提案する。
• ES 値の推定と Shapley 回帰および LIME との比較のためのサンプル効率性とカーネル重要性を論じる。

実験結果

リサーチクエスチョン

• RQ1 単一の加法的、ゲーム理論的フレームワークがさまざまな予測説明手法の挙動を捉えられるのか。
• RQ2 特徴 attributed 方法を制約する公理は何か、これらの制約の下での唯一の解は何か。
• RQ3 LIME、DeepLIFT、LRP の既存の手法は、モデル予測を解釈する際に ES 値とどのように関連するのか。
• RQ4 実際のモデルで ES 値を解釈することから生じる実践的な意味と、可視化はどうなるのか。
• RQ5 カーネルの選択は、特徴寄与の推定と解釈にどのような影響を与えるのか。

主な発見

• ES 値は、効率性、対称性、単調性の公理の下で、モデルの予測を最適で唯一の加法分解として提供する。
• Shapley カーネルとそれに対応する損失/正則化は ES 値を解として得る；カーネルは f(x)=sum of attributions を強制する。
• ES 値は複数の解釈手法を統一・合理化し、それらが ES 値の近似または特別なケースであることを示す。
• LIME と ES 値は連結されており、ES 値は LIME が用いる特定の局所重み付けカーネルを正当化する。
• DeepLIFT と Layer-wise Relevance Propagation は、線形化されたまたは参照ベースの解釈の下で ES 値の近似であり、これによりそれらの計算が公理的な基盤にリンクされる。
• ES 値を力のような棒として可視化するアプローチは、個々の予測への特徴寄与とデータセット全体のパターンの直感的理解を提供する。