[論文レビュー] Model Agnostic Supervised Local Explanations

Gregory Plumb, Denali Molitor+1 more|arXiv (Cornell University)|Jul 9, 2018

Fault Detection and Control Systems被引用数 114

ひとこと要約

MAPLEは監督付き近傍法と局所線形モデリングを組み合わせ、自己説明性を忠実に保ちつつ、ランダムフォレストとGBRTに匹敵する精度を維持します。また、LIMEを上回るブラックボックス解説者として、いくつかのデータセットで機能します。さらに局所的な学習分布を介してグローバルなパターンを検知します。

ABSTRACT

Model interpretability is an increasingly important component of practical machine learning. Some of the most common forms of interpretability systems are example-based, local, and global explanations. One of the main challenges in interpretability is designing explanation systems that can capture aspects of each of these explanation types, in order to develop a more thorough understanding of the model. We address this challenge in a novel model called MAPLE that uses local linear modeling techniques along with a dual interpretation of random forests (both as a supervised neighborhood approach and as a feature selection method). MAPLE has two fundamental advantages over existing interpretability systems. First, while it is effective as a black-box explanation system, MAPLE itself is a highly accurate predictive model that provides faithful self explanations, and thus sidesteps the typical accuracy-interpretability trade-off. Specifically, we demonstrate, on several UCI datasets, that MAPLE is at least as accurate as random forests and that it produces more faithful local explanations than LIME, a popular interpretability system. Second, MAPLE provides both example-based and local explanations and can detect global patterns, which allows it to diagnose limitations in its local explanations.

研究の動機と目的

• 例に基づく、局所的、グローバルな説明の領域で、高い予測精度と解釈性を橋渡しする動機付け。
• 監督付き近傍と特徴選択を用いて、忠実な局所説明を生み出すモデルMAPLEを開発する。
• ベースラインモデルに対するMAPLEの予測精度と、ブラックボックス型解説器としての有効性を示す。
• MAPLEの局所的な学習分布がグローバルパターンを明らかにし、エンプラの説明を導く様子を示す。

提案手法

• ランダムフォレストに由来するSILOスタイルの監督付き近傍を用いて、局所的な学習分布の重みを定義する（式2）。
• DSTumpで選択された上位d特徴を用いた局所加重線形回帰を実行する（式5）。
• ソートされた特徴スコア上での検証精度でdを選択する貪欲前向き選択。
• 局所分布と特徴スコアリングのために、MAPLEを勾配ブースト回帰木へ拡張することも可能。
• 局所線形モデルの係数を検査し、学習分布ベースの診断を用いて説明を提供する。
• UCIデータセットとブラックボックス設定でMAPLEをRF、GBRT、SILO、LIMEと比較する。

実験結果

リサーチクエスチョン

• RQ1 MAPLEは、標準的なツリーアンサンブルと同等またはそれを上回る予測精度を達成しつつ、忠実な局所説明を提供できるか？
• RQ2 MAPLEの説明は特定の点でモデルの挙動を忠実に反映しているか、因果指標の観点でLIMEとどう異なるか？
• RQ3 MAPLEは局所の学習分布を介してグローバルパターンを検出し、新しい点の実例説明の選択を支援できるか？
• RQ4 別の予測モデルを説明する際、LIMEと比較してMAPLEはブラックボックス解説器としてどのように機能するか？
• RQ5 異なるデータセットと設定におけるMAPLEの特徴選択と局所性の実用的な特性は何か？

主な発見

Dataset	LM	RF	SILO + RF	MAPLE + RF	GBRT	SILO + GBRT	MAPLE + GBRT
Autompgs	0.446	0.4164	0.3784	0.381	0.392	0.3745	0.377
Communities	0.781	0.745	0.724	0.688	0.709	0.751	0.712
Crimes	0.327	1.012	0.531	0.331	0.968	0.493	0.295
Day	0	0.204	1.7e-05	6e-06	0.104	1.3e-05	4e-06
Happiness	0.001	0.644	0.001	0.001	0.344	0.001	0.001
Housing	0.56	0.486	0.409	0.419	0.395	0.396	0.404
Music	0.935	0.742	0.881	0.764	0.658	0.901	0.849
Winequality-red	0.814	0.78	0.779	0.778	0.783	0.786	0.779
Dataset	LIME	MAPLE
Autompgs	0.178	0.042
Communities	0.409	0.130
Crimes	0.276	0.047
Day	0.034	0
Happiness	0.05	3e-05
Housing	0.238	0.07
Music	0.189	0.181
Winequality-red	0.149	0.06
Dataset	n	p	d - RF	d - GBRT
Autompgs	392	8	6.44	5.94
Communities	1993	103	54.14	50.12
Crimes	2214	103	20.34	21.62
Day	731	15	2.46	3.02
Happiness	578	8	7.74	7.46
Housing	506	12	9.98	10.06
Music	1059	70	5.56	14.46
Winequality-red	1599	12	7.1	6.88
Dataset	n	p	d
Autompgs	0.042	--	6.44
Communities	0.130	--	54.14
Crimes	0.047	--	20.34
Day	0	--	2.46
Happiness	0.00003	--	7.74
Housing	0.07	--	9.98
Music	0.181	--	5.56
Winequality-red	0.06	--	7.1

• MAPLEは一般にランダムフォレストおよびGBRTと同等以上の精度をもち、SILOベースの変種よりも優れることが多い（複数データセットのTable 1参照）。
• MAPLEの局所線形説明は予測の忠実な説明であり、ほとんどのデータセットで因果指標の点でLIMEを上回る（Table 2）。
• SVR予測のブラックボックス解説器として使用した場合、因果指標の説明はLIMEより優れている（Table 3）。
• 局所の学習分布を検査することでグローバルパターンを明らかにし、グローバルパターンが局所説明に影響を与える時を示すことができる（Sec. 4.1 および Fig. 2）。
• 適用可能性を決めるために局所学習分布尤度を評価して小さな数の実例説明を使用する（Sec. 4.2）。
• MAPLEはベースライン手法と概ね同程度のアクティブ特徴数を使用し、データセットごとにdの値を詳細に報告する（Table 4）。