[論文レビュー] On the computation of counterfactual explanations -- A survey

André Artelt, Barbara Hammer|arXiv (Cornell University)|Nov 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 17

ひとこと要約

本調査では、差分凸プログラミング（DCP）や半正定値プログラミング（SDP）などの最適化技術を活用して、非凸な二次制約付き二次プログラム（QCQPs）を解くことで、多様な機械学習モデル全体で効率的に対向説明を計算するためのモデル特有の手法を提案する。主な貢献は、モデルの内部構造を活用することで、モデルに依存しない手法に比べて計算効率と解の品質を向上させる体系的なフレームワークを構築したことである。

ABSTRACT

Due to the increasing use of machine learning in practice it becomes more and more important to be able to explain the prediction and behavior of machine learning models. An instance of explanations are counterfactual explanations which provide an intuitive and useful explanations of machine learning models. In this survey we review model-specific methods for efficiently computing counterfactual explanations of many different machine learning models and propose methods for models that have not been considered in literature so far.

研究の動機と目的

• ローン承認や予測警察活動などのハイリスク応用分野における解釈可能な機械学習の増大するニーズに対応する。
• しばしば計算コストが高く、非効率であるモデルに依存しない対向説明手法の限界を克服する。
• モデルの内部構造を活用して、より高い品質の対向説明をより効率的に計算するためのモデル特有のアルゴリズムを開発する。
• 文献でこれまで取り上げられていなかった機械学習モデルへ既存の手法を拡張する。
• 非凸な QCQP や双対性に基づく解法を含む最適化を用いた、対向説明を統一的に計算するフレームワークを提供する。

提案手法

• 論文は、ターゲット予測の損失関数を最小化し、元の入力に近いように正則化項を加えることで、対向説明の生成を制約付き最適化問題として定式化する。
• s.p.s.d. 行列を用いてモデルの意思決定境界をモデル化し、最適化問題における制約を二次形式として表現可能にする。
• 非凸な QCQPs に対しては、現在の反復点まわりの一次テイラー展開を用いて凹部を近似することで、ペナルティ凸-凹プロセス（CCP）を適用する。
• 双対性理論を活用して、1つの制約を持つ非凸な QCQPs を、厳密な可解性が満たされればゼロ双対ギャップを有する半正定値プログラム（SDP）に再定式化する。
• 差分凸プログラミング（DCP）を用いて、2つの凸二次形式の差として定義される制約を扱う。
• 初期化として元の入力または妥当な解を用いることで、反復的凸近似により効率的な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデル特有の内部構造を活用することで、どのように対向説明の計算をより効率的に行えるか？
• RQ2 対向説明生成に生じる非凸な QCQPs を解くために有効な最適化技術は何か？
• RQ3 双対性に基づく手法は、非凸な QCQPs に適用可能で、正確またはほぼ正確な解を得られるか？
• RQ4 現在、効率的な対向説明計算手法が不足している機械学習モデルは何か、そしてそれらはどのように対処できるか？
• RQ5 モデル特有の手法は、モデルに依存しない手法に比べて品質と効率の点でどのように差がつくか？

主な発見

• モデル特有の手法は、モデルの内部構造を活用し、最適化を特化させることで、モデルに依存しない手法に比べて計算効率を顕著に向上させる。
• ペナルティ凸-凹プロセス（CCP）は、反復的に凸部分問題を解くことで、非凸な QCQPs に対する信頼性の高い近似を提供する。
• 1つの制約を持つ非凸な QCQPs は、厳密な可解性が満たされれば、半正定値プログラミング（SDP）を用いて正確に解ける。
• 差分凸プログラミング（DCP）の使用により、複雑な意思決定境界を対向説明最適化における制約として表現可能になる。
• s.p.s.d. 行列による意思決定境界の表現により、フレームワークは多様なモデルをカバーでき、体系的な対向説明計算を可能にする。
• この手法は一般化可能であり、文献でこれまで取り上げられていなかったモデルに対しても適用可能で、対向説明の範囲を拡張する。