[論文レビュー] Programs as Black-Box Explanations

Sameer Singh, Marco Túlio Ribeiro+1 more|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 35

ひとこと要約

本稿では、ブラックボックス機械学習モデルの局所的予測を説明するためのモデルに依存しない実行可能プログラムの使用を提案している。これにより、簡潔で人間が読みやすく、表現力のある局所的説明が可能になる。条件分岐、論理演算、算術演算を備えた単純なプログラムとして説明を定式化することで、従来の線形モデルや決定木のような解釈可能なモデルよりも、複雑な挙動をより柔軟に捉えることが可能となり、実データセットを用いたシミュレーテッド・アニーリングに基づくプロトタイプにより、その実現可能性が示された。

ABSTRACT

Recent work in model-agnostic explanations of black-box machine learning has demonstrated that interpretability of complex models does not have to come at the cost of accuracy or model flexibility. However, it is not clear what kind of explanations, such as linear models, decision trees, and rule lists, are the appropriate family to consider, and different tasks and models may benefit from different kinds of explanations. Instead of picking a single family of representations, in this work we propose to use "programs" as model-agnostic explanations. We show that small programs can be expressive yet intuitive as explanations, and generalize over a number of existing interpretable families. We propose a prototype program induction method based on simulated annealing that approximates the local behavior of black-box classifiers around a specific prediction using random perturbations. Finally, we present preliminary application on small datasets and show that the generated explanations are intuitive and accurate for a number of classifiers.

研究の動機と目的

• 複雑なブラックボックスモデルの局所的予測を説明するための統一的で表現力があり、解釈可能な表現の欠如に取り組む。
• 単にスパースな線形モデルや固定された解釈可能な構造に依存する既存のモデルに依存しない説明手法の限界を克服する。
• 多くのユーザーにとって自然で表現力に富んだプログラムが、汎用的でスケーラブルかつ理解しやすい説明形式として機能できるかどうかを検討する。
• 特に決定木、線形モデル、ルールリストとの比較において、表現力と解釈可能性のトレードオフを評価する。
• プログラムベースの説明が、ランダムフォレスト や深層ニューラルネットワークのような複雑なモデルを近似するにあたり、正確かつ直感的であることを示す。

提案手法

• ブラックボックスモデルの摂動された入力例における予測に適合するようにプログラムを誘導する問題を形式化する。
• シミュレーテッド・アニーリングアルゴリズムを用いて、摂動集合におけるモデルの予測とプログラムの出力との差を最小化するプログラムを探索する。
• 条件分岐、論理演算子、算術演算、特徴量へのアクセスを備えた、表現力と可読性に優れたドメイン固有の最小限のプログラミング言語を定義する。
• 一般的な解釈可能なモデル（例：決定木、線形モデル、意思決定リスト、意思決定集合）を同等のプログラムとして表現することで、統一性と自然な構文を示す。
• 実世界のデータセット（例：Adult収入、病院再入院）と複数の分類器（例：ランダムフォレスト、決定木、線形モデル）を用いて、説明を生成する。
• 手動で書かれた同等のものと標準的なモデルに依存しない説明との比較を通じて、生成されたプログラムのコンパクトさと理解しやすさを評価する。

実験結果

リサーチクエスチョン

• RQ1 プログラムは、多様なブラックボックスモデルの局所的予測を説明するための統一的で表現力があり、解釈可能な表現として機能できるか？
• RQ2 LIME や SHAP などの既存のモデルに依存しない手法と比較して、プログラムベースの説明アプローチは品質とコンパクトさにおいてどのように異なるか？
• RQ3 プログラムの構文は、決定木、線形モデル、ルールリストなどの多様な解釈可能なモデルタイプをどの程度自然に表現できるか？
• RQ4 プログラム誘導技術は、専門知識を要しないユーザーにとっても、正確で理解しやすい説明を生成できるか？
• RQ5 プログラムの表現力（例：ループ、変数）と解釈可能性の間にはどのようなトレードオフがあり、それをどのように管理できるか？

主な発見

• プログラムは、決定木、線形モデル、意思決定リスト、意思決定集合といった多様な解釈可能なモデルを、一貫性があり読みやすい構文で表現できる。
• シミュレーテッド・アニーリングに基づくプロトタイプは、実データセット（Adult、病院再入院など）における複数の分類器に対して、コンパクトで正確なプログラム説明を成功裏に生成した。
• 生成されたプログラム説明は、特に決定木に対して、標準的なモデルに依存しない説明よりもコンパクトで直感的であった。
• このアプローチにより、ランダムフォレスト や深層ニューラルネットワークのような複雑なモデルを高い忠実度で近似しつつ、人間が読める形を保ったまま説明可能であることが示された。
• 手動による比較では、生成されたプログラムが手書きの同等物と同等か、あるいはそれより簡潔であることが確認され、自動化の強力な可能性が示された。
• この手法により、簡潔さと正確さのトレードオフを制御でき、初心者向けには短い近似プログラム、専門家向けには長く正確なプログラムを生成できる。