[論文レビュー] L-Shapley and C-Shapley: Efficient Model Interpretation for Structured Data

Jianbo Chen, Le Song+2 more|arXiv (Cornell University)|Aug 7, 2018

Bayesian Modeling and Causal Inference被引用数 55

ひとこと要約

この論文はローカルのL-Shapley（L-Shapley）と接続のC-Shapley（C-Shapley）スコアを導入し、グラフ構造データに対するインスタンスごとの特徴重要度を効率的に計算し、線形時間計算量に達し、Shapley値とMyerson値に関連している。

ABSTRACT

We study instancewise feature importance scoring as a method for model interpretation. Any such method yields, for each predicted instance, a vector of importance scores associated with the feature vector. Methods based on the Shapley score have been proposed as a fair way of computing feature attributions of this kind, but incur an exponential complexity in the number of features. This combinatorial explosion arises from the definition of the Shapley value and prevents these methods from being scalable to large data sets and complex models. We focus on settings in which the data have a graph structure, and the contribution of features to the target variable is well-approximated by a graph-structured factorization. In such settings, we develop two algorithms with linear complexity for instancewise feature importance scoring. We establish the relationship of our methods to the Shapley value and another closely related concept known as the Myerson value from cooperative game theory. We demonstrate on both language and image data that our algorithms compare favorably with other methods for model interpretation.

研究の動機と目的

• Black-boxモデルを解釈するためのインスタンスごとの特徴重要度スコアリングの動機づけ。
• ローカルおよび連結隣接領域を活用したShapley値のスケーラブルなグラフ構造近似を開発。
• グラフベースの局所性仮定の下でShapleyとMyerson値への理論的関係を確立。
• 言語データと画像データで提案手法の実証的性能を示す。
• 計算と既存の解釈フレームワークとの関係に関する実用的な指針を提供。）
• method=[

提案手法

• vx(S) を特徴の部分集合 S に条件付けたときの期待される負の対数確率として定義する。
• L-Shapley を、Shapley値を近似するために、k-近傍 Nk(i) に制限した平均限界寄与として導入する。
• C-Shapley を Nk(i) 内の連結部分集合と Myerson 型の係数を用いてShapley値を近似する。
• C-Shapley をグラフ制限付き連合ゲームでの decomposability v(S)=各連結成分の v の和という条件の下で Myerson 値に対応させる。
• 複雑さの分析を提供: L-Shapley は k に対して指数的だが、線形グラフ/格子グラフでは d に対して線形; C-Shapley は線形グラフで O(k^2 d) の計算量。
• サンプリングベースや回帰ベースの近似（KernelSHAP など）と組み合わせる可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造のShapley値の修正（L-ShapleyとC-Shapley）が、計算を削減しつつインスタンスごとの特徴アトリビューションを正確に提供できるか？
• RQ2 局所加法性のもとで L-Shapley と C-Shapley は Myerson 値とどのように related し、どの条件で真の Shapley 値に近くなるか？
• RQ3 テキストと画像分類タスクで L-Shapley と C-Shapley の経験的性能は、既存の解釈手法と比較してどうか？
• RQ4 実世界のモデルに適用する際の実用的な指針と複雑性の考慮事項は何か？

主な発見

• L-Shapley と C-Shapley はグラフ構造を利用して Shapley 値の線形計算量近似を達成。
• 提案は指定された相互情報型の条件の下で Shapley に対する誤差境界を示すことができる。
• C-Shapley は分解可能性と局所加法性の下でグラフ上の Myerson 値に対応。
• 実証的な結果は、テキストと画像タスクで KernelSHAP, SampleShapley, LIME, Saliency に対して競争力ある、または優れた性能を示す。
• アプローチは言語と画像データに対して控えめな計算予算でスケールし、近傍での相互作用を考慮したアトリビューションを可能にする。