[論文レビュー] Learning to Explain: An Information-Theoretic Perspective on Model Interpretation

Jianbo Chen, Le Song+2 more|arXiv (Cornell University)|Feb 21, 2018

Topic Modeling参考文献 26被引用数 108

ひとこと要約

本論文は、選択された特徴とモデル出力との間の相互情報量を最大化する explainer を学習することによる instancewise feature selection を提案する。訓練と説明を効率化するために、変分下界と連続緩和を用いる。

ABSTRACT

We introduce instancewise feature selection as a methodology for model interpretation. Our method is based on learning a function to extract a subset of features that are most informative for each given example. This feature selector is trained to maximize the mutual information between selected features and the response variable, where the conditional distribution of the response variable given the input is the model to be explained. We develop an efficient variational approximation to the mutual information, and show the effectiveness of our method on a variety of synthetic and real data sets using both quantitative metrics and human evaluation.

研究の動機と目的

• 高リスク領域における解釈性の動機付けと、局所的な説明手法としての instancewise feature selection の提案。
• 各インスタンスごとに特徴のサブセットを選択して、モデル出力についての情報量を最大化する explainer を定義する。
• 解釈のエンドツーエンド学習を可能にする、扱いやすい変分下界と連続緩和を開発する。
• 分類および回帰モデルに適用可能な、モデル非依存で効率的な説明フレームワークを提供する。

提案手法

• 入力 x を与えられたときに k-feature の部分集合 S の分布を出力する explainer を定義する。
• Y がモデルの応答であり X_S が選択された特徴サブセットであるとき I(X_S;Y) を最大化する。
• Y|X_S の分布族 Q を用いて mutual information の相互情報量の変分下界を導出する。
• Q を g_alpha: X_S -> P(Y|X_S) という単一のニューラルネットワークでパラメータ化する。0パディングされた X_S に対して。
• 訓練時に効率的に k-feature のサブセットをサンプルするために連続緩和（Gumbel-Softmax / Concrete）を用いる。
• 変分目的関数を最大化するようにエンドツーエンドで訓練し、推論時の高速な説明段階を可能にする。

実験結果

リサーチクエスチョン

• RQ1 instancewise feature selection を、選択された特徴とモデル出力との間の mutual information を最大化する問題として定式化できるか？
• RQ2 扱いやすい変分下界と連続緩和が、モデル内部情報を必要とせずに、インスタンス固有の説明を効率的に学習することを可能にするか？
• RQ3 提案された L2X フレームワークは、現実世界のデータセットとタスクに対してモデル非依存でスケーラブルか？
• RQ4 合成データおよび実データにおける L2X の既存の instancewise 説明法に対する性能はどうか？
• RQ5 選択された特徴は人間の判断および下流タスクのポストホック精度と整合するか？

主な発見

Method	Training	Efficiency	Additive	Model-agnostic
LIME	No	Low	Yes	Yes
Kernel SHAP	No	Low	Yes	Yes
DeepLIFT	No	High	Yes	No
Salient map	No	High	Yes	No
Parzen	Yes	High	Yes	Yes
LRP	No	High	Yes	No
L2X	Yes	High	No	Yes

• L2X は非線形およびスイッチング-feature の合成データセットでいくつかのベースラインより優れている。
• L2X は IMDB の感情分析と MNIST のタスクで、ポストホック精度と人間の整合性において競争力があるか、または優れている。
• L2X は説明のために単一のフォワードパスでインスタンスごとの特徴ランキングを提供し、摂動ベースの方法より効率を改善する。
• 訓練時間はモデルが支配的であり、新しいインスタンスの説明には explainer ネットワークのフォワードパスのみが必要。
• IMDB の CNN および階層的 LSTM で、L2X は高いポストホック精度と人間の正確性を示し、テキストモデルの解釈可能性の利点を示している。
• MNIST で small k（例: 4 パッチ）で意味のある画像パッチの説明を L2X が生成できる。