[論文レビュー] Explaining Models by Propagating Shapley Values of Local Components

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Nov 27, 2019

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

この論文は、バックグラウンド分布に基づく理論的根拠を有する高速で決定論的な説明を可能にする、深層ニューラルネットワークおよび混合モデルスタックに拡張されたShapley値帰属のフレームワークであるDeepSHAPを紹介する。層を介して値を伝播させることで、従来の手法に比して理論的裏付けを強化した背景ベースの帰属を提供するとともに、SHAP値の近似を改善するRevealCancelルールを強化している。

ABSTRACT

In healthcare, making the best possible predictions with complex models (e.g., neural networks, ensembles/stacks of different models) can impact patient welfare. In order to make these complex models explainable, we present DeepSHAP for mixed model types, a framework for layer wise propagation of Shapley values that builds upon DeepLIFT (an existing approach for explaining neural networks). We show that in addition to being able to explain neural networks, this new framework naturally enables attributions for stacks of mixed models (e.g., neural network feature extractor into a tree model) as well as attributions of the loss. Finally, we theoretically justify a method for obtaining attributions with respect to a background distribution (under a Shapley value framework).

研究の動機と目的

• 複雑なブラックボックスモデル、特に深層ニューラルネットワークやスタックされたアンサンブルモデルを説明するための、入力特徴量への予測帰属を提供すること。
• バックグラウンド分布に関するShapley値を計算する理論的に妥当な手法を提供し、従来の定式化における制限を克服すること。
• 個々のモデルにとどまらず、ニューラルネットワーク＋決定木モデルなどの異種モデルタイプのスタックに対してもShapley値帰属を拡張すること。
• DeepLIFTのような既存のルールベースの説明手法の精度を、Shapley値の文脈で再解釈することで向上させること。
• モデルアーギョスなSHAP近似手法（例：KernelSHAP や IME）における分散と計算コストを低減し、バックプロパゲーション風の帰属を決定論的に可能にすること。

提案手法

• 非線形および線形部成分を別々に取り扱い、層ごとの逆伝播を用いてShapley値を深層ネットワークに伝播させる。
• DeepLIFTのRescaleおよびRevealCancelルールを、正確なShapley値への近似とみなして再解釈し、局所的精度と計算効率を保証する。
• 帰属を単一のベースラインサンプルではなく、参照分布（バックグラウンド分布）に基づく新しい定式化を導入する。
• スプリット閾値をゼロではなく、重み付き特徴寄与の平均値に設定するRevealCancel^Meanという改良型ルールを提案し、近似品質を向上させる。
• モデル出力に加え、損失関数の説明にもフレームワークを適用し、トレーニング診断への応用を拡張する。
• 入力から出力への活性化パスに沿った寄与のパスベース分解を用い、帰属を重み付き和として計算する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーション風の手法を用いて、深層ニューラルネットワークにおけるShapley値を効率的かつ正確に近似できるか？
• RQ2 DeepLIFTルールとShapley値との間の関係を明確に定式化することで、説明の整合性を向上させられるか？
• RQ3 単一の参照サンプルではなく、バックグラウンド分布に基づいてShapley値帰属を意味的に計算できるか？
• RQ4 DeepSHAPは、KernelSHAP や IME といったサンプリングベースのモデルアーギョス手法に比べ、精度と分散の面でどの程度優れているか？
• RQ5 RevealCancelルールの閾値戦略を見直すことで、真のShapley値をよりよく近似できるか？

主な発見

• DeepSHAPはサンプリングのばらつきがなく、固定回数のモデル評価で済む決定論的帰属を実現する。これに対して、KernelSHAP や IME といったサンプリングベース手法とは異なり、分散が存在しない。
• RevealCancel^Meanルールは、元のRevealCancelおよびRescaleルールに比べて近似誤差を低減するが、追加の計算コストは発生しない。
• 相関のある特徴量を含むデータセットにおける実験では、DeepSHAPはIME Explainer や KernelSHAP に比べ、特に特徴量の露出初期段階で特徴量重要度の回復が優れている。
• アブレーション指標「keep absolute (mask)」では、DeepSHAPがサンプリングベースの代替手法よりも、より速くかつ一貫して重要な特徴量を特定している。
• DeepSHAPは、ニューラルネットワーク特徴抽出器から決定木モデルへとつながる混合モデルスタック（例：ニューラルネットワーク＋決定木）の説明にも成功しており、単一モデルアーキテクチャを超えた一般化の有効性を示している。
• Shapley値計算におけるバックグラウンド分布の使用について理論的裏付けを提供し、元のDeepSHAP定式化における主要な制限を解消した。