[論文レビュー] Interpreting Blackbox Models via Model Extraction

Osbert Bastani, Carolyn Kim+1 more|arXiv (Cornell University)|May 23, 2017

Explainable Artificial Intelligence (XAI)参考文献 39被引用数 131

ひとこと要約

本論文は、データを能動的にサンプリングすることによりブラックボックスモデルを近似する、グローバルで解釈可能な意思決定木を抽出する方法を提示する。抽出された木の忠実度と解釈性をベースラインと比較して評価し、抽出木から得られる実務上の洞察を実証する。

ABSTRACT

Interpretability has become incredibly important as machine learning is increasingly used to inform consequential decisions. We propose to construct global explanations of complex, blackbox models in the form of a decision tree approximating the original model---as long as the decision tree is a good approximation, then it mirrors the computation performed by the blackbox model. We devise a novel algorithm for extracting decision tree explanations that actively samples new training points to avoid overfitting. We evaluate our algorithm on a random forest to predict diabetes risk and a learned controller for cart-pole. Compared to several baselines, our decision trees are both substantially more accurate and equally or more interpretable based on a user study. Finally, we describe several insights provided by our interpretations, including a causal issue validated by a physician.

研究の動機と目的

• ローカルな説明や完全に解野可能なモデルの代替として、解釈可能なグローバルな説明の動機づけ。
• 過剰適合を回避するために能動的にデータをサンプリングするブラックボックスから決定木への抽出アルゴリズムを提案する。
• 抽出された決定木がタスクを横断してブラックボックスモデルを密接に近似し、ユーザ研究においても同等またはそれ以上に解釈可能であることを示す。
• 臨床医が検証した因果観察や提供者依存の共変量シフトを含む、解釈から得られる実践的洞察を示す。

提案手法

• ブラックボックス関数 f を近似するための軸合わせ決定木のモデル抽出。
• 能動的サンプリング：現在のノードの実現可能領域内で推定入力分布 P から反復的に x をサンプリングし、f(x) でラベル付けする。
• EM で適合させた軸合わせガウス分布の混合として入力分布 P を推定する。
• 正確な貪欲木構築（無限データ）をターゲットとして用い、各分割あたり n サンプルで近似して有限の抽出器を形成する。
• 分割選択は、P の下での条件付きラベル分布に基づくジニ不純度ベースのゲイン G(i,t) を用い、葉ラベルは C_N およびそのサブ結合の下での多数確率によって選択される。
• 制約 C（x_i ∈ [s_i, t_i]）を処理し、C があるとき p_P からのサンプリングを実行可能にするサンプリングおよび剪定ルールを提供する。
• 一貫性を証明する：n → ∞ のとき、抽出木 Ť は正確な貪欲木 T* に収束する（十分なサンプルで ε-δ 正確）。

実験結果

リサーチクエスチョン

• RQ1 グローバルで解釈可能なモデル（決定木）は、複雑なブラックボックスモデルを忠実に近似できるか。
• RQ2 能動サンプリングは、ベースライン抽出法と比較して忠実度を高め、過剰適合を抑制できるか。
• RQ3 抽出された決定木は、ユーザ研究で競合する説明（ルールリスト、意思決定セット）よりも解釈可能であるか、または等しい程度か。
• RQ4 実データセットに適用した場合、抽出木から得られる洞察には、因果ではないものや提供者依存の効果を含むどのような洞察が得られるか。
• RQ5 抽出された説明は、他の解釈可能性手法では容易に捉えられないモデルの挙動やバイアスを明らかにするか。

主な発見

Dataset	Task	# Features	Outcomes	# Training	# Test	Blackbox Model	Blackbox Performance
diabetes risk	classification	384	{high risk, low risk}	404	174	random forest	F1 = 0.24
cart-pole (Barto et al. 1983)	reinforcement learning	4	{left, right}	100	100	control policy	reward = 200.0

• 提案された能動サンプリング木抽出は、ベンチマーク全体で CART や Born Again Trees よりブラックボックスモデルへの忠実度が高い。
• 本手法で抽出された決定木は、ML大学院生を対象としたユーザ研究でベースラインより解釈可能性が同等または高い。
• 糖尿病リスクとカート-ポールのタスク全体で、抽出木はブラックボックスモデルの意思決定を正確に反映する高忠実度を維持しつつ、サブ集団効果や非因果的パターンの検査を可能にする。
• 本アプローチは糖尿病リスクモデルにおける共変量シフトと提供者特有の差異、カート-ポール方針の翻訳不変性と反射バイアスを明らかにし、実践的な診断洞察を提供する。
• サンプルを増やすほど安定性と一貫性が向上し、抽出のノード一貫性の点で Born Again Trees を上回る。