[論文レビュー] Model Agnostic Contrastive Explanations for Structured Data

Amit Dhurandhar, Tejaswini Pedapati+4 more|arXiv (Cornell University)|May 31, 2019

Fault Detection and Control Systems被引用数 29

ひとこと要約

本稿では、任意のブラックボックス分類モデルへのクエリアクセスのみを用いて、構造化データの対照的説明（関連する肯定的要因と否定的要因）を生成するモデルに依存しない手法MACEMを提案する。実数値およびカテゴリカル特徴量を適切に扱う原理的フレームワークを導入し、5つの公開データセットにおいて定量的および定性的な評価でLIMEを上回る説明品質を実現した。

ABSTRACT

Recently, a method [7] was proposed to generate contrastive explanations for differentiable models such as deep neural networks, where one has complete access to the model. In this work, we propose a method, Model Agnostic Contrastive Explanations Method (MACEM), to generate contrastive explanations for \emph{any} classification model where one is able to \emph{only} query the class probabilities for a desired input. This allows us to generate contrastive explanations for not only neural networks, but models such as random forests, boosted trees and even arbitrary ensembles that are still amongst the state-of-the-art when learning on structured data [13]. Moreover, to obtain meaningful explanations we propose a principled approach to handle real and categorical features leading to novel formulations for computing pertinent positives and negatives that form the essence of a contrastive explanation. A detailed treatment of the different data types of this nature was not performed in the previous work, which assumed all features to be positive real valued with zero being indicative of the least interesting value. We part with this strong implicit assumption and generalize these methods so as to be applicable across a much wider range of problem settings. We quantitatively and qualitatively validate our approach over 5 public datasets covering diverse domains.

研究の動機と目的

• ブラックボックス分類モデルの分類確率へのクエリアクセスのみを前提として、任意のモデルに対して対照的説明（関連する肯定的要因と否定的要因）を生成するモデルに依存しない手法の開発。
• 従来の対照的説明手法がモデルの微分可能であることを前提とし、すべての特徴量が正の実数値でゼロをベース値とするという仮定をしているという限界を解消すること。
• 実数値およびカテゴリカル特徴量の両方に対して、ベース値を原理的かつ意味的に整合的に定義するアプローチを提供し、多様なデータタイプにわたる意味のある対照的説明を可能にすること。
• 特に金融や医療などの規制が厳しい分野において、説明が専門家の直感と整合し、信頼できるものであることを保証すること。
• 多様な構造化データベンチマークにおいて定量的および定性的に評価を行い、LIMEなどの既存手法を上回ることを実証すること。

提案手法

• MACEMは、予測を維持または反転させるスパースな摂動を計算するためのFISTAに基づく最適化フレームワークを用いる。これにより、関連する肯定的要因（PPs）と関連する否定的要因（PNs）が形成される。
• 実数値およびカテゴリカル特徴量におけるベース値を定義するための新しい定式化を導入し、各特徴量タイプの最小情報量または中立状態を表す。
• 実数値特徴量では、特徴量の分布に応じて最小値または中央値をベース値として定義し、意味的整合性を確保する。
• カテゴリカル特徴量では、最頻値または中立的カテゴリーをベース値として定義し、勾配フリー最適化を可能にするワンホットエンコーディング戦略を採用する。
• PPおよびPNの探索を制約付き最適化問題として定式化し、L1ノルムの摂動を最小化しながら、モデル出力クラスを維持または変更するようにする。
• モデルの内部構造を覗くことなく、有限差分による勾配推定をクエリベースのモデルアクセスを用いて行い、最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストや勾配ブースティングツリーのような微分不能なモデルに対し、クエリアクセスのみで対照的説明を効果的に生成できるか。
• RQ2 実数値およびカテゴリカル特徴量の両方に対して、意味的に整合したベース値をどのように定義できるか。
• RQ3 提案手法は、特徴量の重要度とモデル感度の観点から、LIMEに比べてより正確で信頼性の高い説明を生成するか。
• RQ4 PPとPNは、特に意思決定木のパスと比較して、モデル意思決定に関する補完的かつ有用な情報をどのように捉えているか。
• RQ5 MACEMが得る専門家による検証済みの説明は、代理モデルに基づく手法と比較して、分野固有の知識をよりよく反映しているか。

主な発見

• MACEMは5つの公開データセットにおいて、CFIP_PPおよびCFIP_PNの両指標でLIMEを上回り、関連する肯定的要因および否定的要因の関連特徴量をより高い精度で特定した。
• ドイツ信用データセットでは、金融専門家による評価で、MACEMが生成した50件のPPのうち44件、PNのうち38件が妥当とされたのに対し、LIMEはそれぞれ27件および19件であった。
• 嗅覚データセットでは、神経科学専門家による評価で、MACEMのPPのうち41件、PNのうち39件が妥当とされたのに対し、LIMEはそれぞれ32件および20件であった。
• ドイツ信用および嗅覚データセットの80％以上の入力において、MACEMの上位PP特徴量がモデルの意思決定パスにおける上位特徴量と一致しており、グローバルな解釈可能性を示した。
• PNに関しては、専門家のフィードバックにより確認されたように、MACEMの結果はLIMEに比べて一貫して正確であり、予測を反転させる最小限で意味のある変更を表していた。
• 本手法は、微分可能性や特徴量の意味的仮定に依存せず、実数値およびカテゴリカル特徴量を含む多様な構造化データタイプに一般化可能であった。