[論文レビュー] Interpretability via Model Extraction

Osbert Bastani, Carolyn Kim+1 more|arXiv (Cornell University)|Jun 29, 2017

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 92

ひとこと要約

この論文は、アクティブ学習を用いてブラックボックスモデルを解釈可能なモデル（決定木）に近似するモデル抽出を提案し、ランダムフォレスト、ニューラルネット、RLポリシーのような複雑なモデルの解釈とデバッグを可能にします。

ABSTRACT

The ability to interpret machine learning models has become increasingly important now that machine learning is used to inform consequential decisions. We propose an approach called model extraction for interpreting complex, blackbox models. Our approach approximates the complex model using a much more interpretable model; as long as the approximation quality is good, then statistical properties of the complex model are reflected in the interpretable model. We show how model extraction can be used to understand and debug random forests and neural nets trained on several datasets from the UCI Machine Learning Repository, as well as control policies learned for several classical reinforcement learning problems.

研究の動機と目的

• 高リスク決定に用いられるブラックボックスモデルへの解釈可能な洞察の必要性を動機づける。
• ブラックボックスから解釈可能なモデルへの抽出フレームワークを紹介する。
• 十分なサンプルがあれば、抽出された解釈可能なモデルは元のモデルを近似することを示す。
• ランダムフォレスト、ニューラルネット、および強化学習ポリシーで手法を実証する。
• デバッグ、公平性評価、モデル比較のユースケースを提供する。

提案手法

• ブラックボックスアクセス f を持つ f から解釈可能な T を学習する問題として問題を定式化する。
• 入力分布 P を X_train に axis-aligned Gaussian の混合を適合させることで表現する。
• P 下での CART に類似した増分利得を用いて正確な貪欲決定木 T* を定義する。
• ノード制約下で P から n 点をサンプリングして推定貪欲木 T を構築することで利得を推定する。
• n が大きくなるにつれて、緩やかな仮定の下で抽出木 T が T* に収束することを証明する。
• 抽出木 T を UCI データセットと CartPole RL ポリシーで CART ベースラインと比較し、解釈可能性の利点を実証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブサンプリングを介して学習された貪欲で軸-align の決定木は、ブラックボックスモデル f を高忠実度で近似できるか？
• RQ2 サンプル数 n を増やすと、抽出木 T の exact greedy tree T* への忠実度は向上するか？
• RQ3 抽出された T は分類、回帰、強化学習タスクにおいて CART ベースラインとどう比較されるか？
• RQ4 抽出された解釈可能なモデルは、偏見のある特徴や無効な特徴への依存といった問題の診断に役立つか？
• RQ5 抽出された木は、学習された制御ポリシーの挙動をどの程度まで照らし出すことができるか？

主な発見

データセット	タスク	サンプル数	特徴量	モデル	f	T	T_base	T_rel	T_base_rel
breast cancer	classification	569	32	random forest	0.966	0.942	0.934	0.957	0.945
student grade	regression	382	33	random forest	4.47	4.70	5.10	0.40	0.64
wine origin	classification	178	13	random forest	0.981	0.925	0.890	0.938	0.890
wine origin	classification	178	13	neural net	0.795	0.755	0.751	0.913	0.905
cartpole	reinforcement learning	100	4	control policy	200.0	190.0	35.6	86.8%	83.8%

• 抽出手法は、報告されたすべてのタスクで CART ベースラインより相対的な性能が高い。
• 抽出された木は特徴への依存関係（偏見のある特徴や無効な特徴など）を明らかにし、それらの影響を定量化できる。
• CartPole ポリシーでは、7ノードの小さな木がポリシーの挙動の有意義な部分を捉え、方向性バイアスを露呈する。
• この手法はサブグループ分析（例：性別効果）を可能にし、モデルが敏感属性に依存している箇所を特定できる。
• モデル間の比較（random forests 対 neural nets）では、抽出された木が特徴の影響パターンを強調し、特徴重要度だけでは分からない点を示せる。