[論文レビュー] Interpretable and Explorable Approximations of Black Box Models

Himabindu Lakkaraju, Ece Kamar+2 more|arXiv (Cornell University)|Jan 1, 2017

Explainable Artificial Intelligence (XAI)参考文献 4被引用数 118

ひとこと要約

BETA は、特徴空間の特定の部分空間におけるモデル行動のインタラクティブでユーザー主導の探索を可能にし、実世界のデータセットにおいて、コンパクト性、正確性、理解可能性の面で最先端の手法を上回る、グローバルで解釈可能で忠実なブラックボックス分類器の近似を生成するモデルに依存しないフレームワークである。これは、忠実性、解釈可能性、曖昧さの3つを同時に最適化するための新しい目的関数を用いて実現される。

ABSTRACT

We propose Black Box Explanations through Transparent Approximations (BETA), a novel model agnostic framework for explaining the behavior of any black-box classifier by simultaneously optimizing for fidelity to the original model and interpretability of the explanation. To this end, we develop a novel objective function which allows us to learn (with optimality guarantees), a small number of compact decision sets each of which explains the behavior of the black box model in unambiguous, well-defined regions of feature space. Furthermore, our framework also is capable of accepting user input when generating these approximations, thus allowing users to interactively explore how the black-box model behaves in different subspaces that are of interest to the user. To the best of our knowledge, this is the first approach which can produce global explanations of the behavior of any given black box model through joint optimization of unambiguity, fidelity, and interpretability, while also allowing users to explore model behavior based on their preferences. Experimental evaluation with real-world datasets and user studies demonstrates that our approach can generate highly compact, easy-to-understand, yet accurate approximations of various kinds of predictive models compared to state-of-the-art baselines.

研究の動機と目的

• グローバルで解釈可能かつ忠実な説明が、コンパクトで曖昧さのない形で得られるようにすること。
• ユーザーが特徴空間の任意の部分空間において、モデル行動をインタラクティブに探索できるようにすること。
• 元のモデルへの忠実性、説明の解釈可能性、意思決定領域の曖昧さのない性質を同時に最適化すること。
• アーキテクチャの変更を必要とせず、あらゆるブラックボックスモデルに適用可能なフレームワークを提供すること。
• 人間が理解可能な一方で、元のモデルの行動を高精度に再現する説明を生成すること。

提案手法

• ブラックボックスモデルへの忠実性、説明の解釈可能性、意思決定領域の曖昧さのない性質をバランスさせる新しい目的関数を導入する。
• 全特徴空間にわたってブラックボックスモデルの行動を近似する、コンパクトな意思決定集合の小さな集合を学習する。
• 最適性の保証がある最適化を用いることで、学習された近似が正確かつ解釈可能であることを保証する。
• 近似生成の過程でユーザーの入力を組み込み、ユーザーが関心を持つ特定の部分空間における探索を支援する。
• 透明でモジュラーな構造を採用することで、近似意思決定集合の効率的な学習と推論を可能にする。
• モデルに依存しないデプロイメントをサポートし、アーキテクチャにかかわらずあらゆる事前学習済み分類器に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 グローバルな説明フレームワークとして、ブラックボックスモデルの説明において忠実性、解釈可能性、曖昧さのない性質を同時に最適化できるか？
• RQ2 このフレームワークは、複雑なブラックボックスモデルを忠実に再現するコンパクトで人間が理解しやすい意思決定集合をどれほど効果的に生成できるか？
• RQ3 ユーザー主導の探索は、説明の関連性と解釈可能性をどの程度向上できるか？
• RQ4 説明の質、コンパクト性、正確性の観点から、最先端の手法と比較してどのように性能を発揮するか？
• RQ5 ベースライン手法と比較して、説明の複雑さを著しく低減しつつも、高い忠実性を維持できるか？

主な発見

• BETA は、最先端のベースラインと比較して、著しくコンパクトな説明を生成しながらも、元のブラックボックスモデルへの忠実性を維持している。
• ユーザースタディにおいて、フレームワークが生成する説明は、一貫してより解釈可能で理解しやすいと評価された。
• ユーザー主導の探索により、関心のある部分空間におけるモデル行動の的確な分析が可能になり、実用的利便性が向上した。
• 最適化プロセスにより、最適性の保証が得られ、理論的整合性と信頼性が保証された。
• 実世界のデータセットを用いた実証的評価により、BETA が既存の手法を正確性と解釈可能性の指標の両面で上回ることが確認された。
• フレームワークは、モデル固有の調整を必要とせず、多様なブラックボックスモデルに一般化して適用できた。