[論文レビュー] Model-Agnostic Counterfactual Explanations for Consequential Decisions

Amir-Hossein Karimi, Gilles Barthe+2 more|arXiv (Cornell University)|May 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 85

ひとこと要約

MACEを導入する。これは任意の予測子に対して最も近く、もっともらしく、多様な反実仮想説明を生成するモデル非依存の手法であり、連続的なSMT充足性問題を解くことによって実現され、100%のカバレッジを達成し、先行研究よりも近い反実仮想を提供する。

ABSTRACT

Predictive models are being increasingly used to support consequential decision making at the individual level in contexts such as pretrial bail and loan approval. As a result, there is increasing social and legal pressure to provide explanations that help the affected individuals not only to understand why a prediction was output, but also how to act to obtain a desired outcome. To this end, several works have proposed optimization-based methods to generate nearest counterfactual explanations. However, these methods are often restricted to a particular subset of models (e.g., decision trees or linear models) and differentiable distance functions. In contrast, we build on standard theory and tools from formal verification and propose a novel algorithm that solves a sequence of satisfiability problems, where both the distance function (objective) and predictive model (constraints) are represented as logic formulae. As shown by our experiments on real-world data, our algorithm is: i) model-agnostic ({non-}linear, {non-}differentiable, {non-}convex); ii) data-type-agnostic (heterogeneous features); iii) distance-agnostic ($\ell_0, \ell_1, \ell_\infty$, and combinations thereof); iv) able to generate plausible and diverse counterfactuals for any sample (i.e., 100% coverage); and v) at provably optimal distances.

研究の動機と目的

• 結果に影響を与える決定（例: 保釈、ローン）において説明の必要性を動機づけ、既存の方法の限界を指摘する。
• 保証付きで最も近い反実仮想を生成するモデル非依存アプローチとしてMACEを提案する。
• 説得力と多様性を確保しつつ、異種の特徴空間と任意の距離測度を扱う。
• SMT形式の定式化の下で、証明可能な最適距離の反実仮想をもたらすスケーラブルなワークフローを提供する。
• 実世界のデータセットで完全なカバレッジ保証とともに実用効果をデモンストレーションする。

提案手法

• モデル、距離、説得力、多様性の制約を論理式として符号化することにより、最も近い反実仮想問題を充足性問題の列として表現する。
• モデルの特徴式（プログラム表現から構築される）を用いて、さまざまなモデルクラス（例：決定木、MLPs）における f(x)=y を捉える。
• 距離関数と説得力/多様性の制約を SMT-向けプログラムとして表現し、モデル依存性と距離測度に依存しない最適化を可能にする。
• 距離閾値 delta 上での二分探索を適用して、SMTオラクルを用いた実現可能性チェックと組み合わせ、近い反実仮想を制御可能な精度で近似する。
• 複数の反実仮想間の最小距離を強制する制約を追加することで多様性を許容する。
• 数値的、カテゴリ的、順序的なデータ型をサポートし、特徴ごとの変化を正規化し L0, L1, Linf ノルムを組み合わせた距離尺度を用いる。

実験結果

リサーチクエスチョン

• RQ1 結果に影響を与える決定について、モデルに依存しない方法で反実仮想説明をどのように生成できるか。
• RQ2 一般的な距離測度の下で最も近い反実仮仮想を SMT ソルバーを用いて最適性の保証とともに見つけることができるか。
• RQ3 説得力と多様性の制約が反実仮想の質と実現可能性にどう影響するか。
• RQ4 カバレッジと距離の観点で、実世界の異種データセットに対してMACEは従来手法と比較してどう性能を示すか。
• RQ5 実行可能性制約（説得力）と得られる反実仮想の距離とのトレードオフは何か。

主な発見

• MACEは評価対象のインスタンスに対して設計上100%のカバレッジを達成する。
• MACEは、データセット全体（Adult、Credit、COMPAS）で prior アプローチよりもはるかに近い反実仮想を生成する。
• ベースラインと比較した平均距離の削減は、Adultで70.2%、Creditで75.4%、COMPASで21.1%に達する。
• MACEは異種の特徴空間と任意の距離組み合わせ（L0、L1、L∞）を最適距離の保証とともにサポートする。
• 説得力制約の導入（例：年齢のような不変特徴の変更を行わないこと）は距離を増加させるが、特にL1およびL∞ノルム下で、実行可能で政策遵守の説明を維持する。
• 本手法は100%のカバレッジを提供し、多様性制約を組み込むことで多様な反実仮仮想を生成できる。