[論文レビュー] Counterfactual Explanations for Arbitrary Regression Models

Thomas Spooner, Danial Dervovic+4 more|arXiv (Cornell University)|Jun 29, 2021

Explainable Artificial Intelligence (XAI)参考文献 51被引用数 10

ひとこと要約

本稿では、閾値ベースのロバストネス問題を克服するため、微分可能ポテンシャルを用いたベイジアン最適化に基づく回帰モデルにおける対向説明（CFE）生成手法を提案する。グローバル収束性を達成し、任意の制約（例：スパarsity、行動可能性）をサポートし、知識移行を伴う並列クエリが可能であり、現実の回帰タスクにおいて、局所的勾配ベース手法に比べてサンプル効率と精度で優れている。

ABSTRACT

We present a new method for counterfactual explanations (CFEs) based on Bayesian optimisation that applies to both classification and regression models. Our method is a globally convergent search algorithm with support for arbitrary regression models and constraints like feature sparsity and actionable recourse, and furthermore can answer multiple counterfactual questions in parallel while learning from previous queries. We formulate CFE search for regression models in a rigorous mathematical framework using differentiable potentials, which resolves robustness issues in threshold-based objectives. We prove that in this framework, (a) verifying the existence of counterfactuals is NP-complete; and (b) that finding instances using such potentials is CLS-complete. We describe a unified algorithm for CFEs using a specialised acquisition function that composes both expected improvement and an exponential-polynomial (EP) family with desirable properties. Our evaluation on real-world benchmark domains demonstrate high sample-efficiency and precision.

研究の動機と目的

• 回帰モデルにおける、連続的出力に起因する自明または情報のない摂動に陥りやすい、ロバストで原理的根拠のある対向説明手法の欠如に取り組むこと。
• 閾値ベースの目的関数の感受性を解消するため、微分可能ポテンシャルを用いた回帰における対向探索の形式化。
• 任意の非線形制約をサポートし、並列かつアモアタイズドなCFE生成を可能にする、グローバル収束性とブラックボックス互換性を兼ね備えたアルゴリズムの開発。
• 提案されたフレームワークにおけるCFE存在可能性および最適性の理論的複雑性バウンズを確立し、NP完全性およびCLS完全性を証明すること。
• 実世界の回帰ベンチマークを用いた実験的評価を通じて、行動可能でスパースかつ因果的に整合性のある対向説明の有効性を示すこと。

提案手法

• 閾値ベースの目的関数に代えて、微分可能ポテンシャルを用いた回帰における対向探索の定式化により、ロバストネスと数学的厳密性を確保する。
• ターゲット偏差をモデル化するための望ましい理論的および実用的性質を有する、指数多項式（EP）族のポテンシャル関数を導入する。
• 期待改善とEPポテンシャルを組み合わせた特化された獲得関数を設計し、妥当で高品質な対向説明へ向かうベイジアン最適化を誘導する。
• ユーザー定義の正則化または特徴量の境界を介して、任意の非線形制約（例：スパarsity、行動可能性）を統一的にサポートするアルゴリズムを実装する。
• 1回の最適化実行で複数の対向説明クエリを並列で問い合わせ可能にし、クエリ間で最適化情報の再利用によりサンプル効率を向上させる。
• 微分不能またはブラックボックスなモデルに対しても、グローバル収束保証を有するベイジアン最適化を用いる。

実験結果

リサーチクエスチョン

• RQ1 回帰モデルに対して、閾値ベースの目的関数の欠点を回避する、原理的かつロバストな対向説明フレームワークを開発できるか？
• RQ2 提案されたポテンシャルベースの形式的定式化における、対向説明の存在可能性および最適性の計算複雑性は何か？
• RQ3 ベイジアン最適化に基づく手法が、任意の回帰モデルに対してグローバル収束性と高いサンプル効率を達成できるか？
• RQ4 提案手法は、実世界の回帰タスクにおいて、行動可能でスパースかつ因果的に妥当な対向説明をどれほど効果的に生成できるか？
• RQ5 複数の対向説明クエリを並列で処理しつつ、クエリ間で最適化知識を再利用できるか？

主な発見

• 提案手法は、実世界の回帰ベンチマークにおいて、局所的勾配ベース手法に比べて高いサンプル効率と精度を達成し、対向説明を生成している。
• 微分可能ポテンシャルの使用により、閾値ベースの目的関数に内在するロバストネス問題が解消され、一貫性があり意味のある対向説明の生成が保証される。
• 理論的解析により、提案された形式的定式化下で、対向説明の存在を検証することはNP完全であり、最適な対向説明を求めるのはCLS完全であることが証明された。
• モデルが微分不能であっても、アルゴリズムはグローバル収束を示し、局所的最適化手法に比べて顕著な利点を有する。
• ライドシェアの所要時間予測モデルに対して生成された対向説明は、直感的な要因（例：距離、乗車人数）と直感に反するパターン（例：時間帯の影響）を明らかにし、診断的価値を裏付けた。
• 制約なしでも一部のターゲット偏差は達成不可能であり、本手法は累積された候補サンプリングによりこれを効果的に同定した。これは、経路依存の勾配手法では達成できない。