[論文レビュー] Counterfactual Plans under Distributional Ambiguity

Ngoc Bui, Duy Nguyen+1 more|arXiv (Cornell University)|Jan 29, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、モデルパラメータの分布的不確実性下で、妥当性確率の境界をモーメントベースの不確実性評価で制約し、修正最適化手法を用いて耐性を高める、頑健な枠組みを提案する。実世界のデータセットにおける時系列的、是正的、地理的シフトの下で、実験により本手法は妥当性と多様性の両面で顕著な向上を示した。

ABSTRACT

Counterfactual explanations are attracting significant attention due to the flourishing applications of machine learning models in consequential domains. A counterfactual plan consists of multiple possibilities to modify a given instance so that the model's prediction will be altered. As the predictive model can be updated subject to the future arrival of new data, a counterfactual plan may become ineffective or infeasible with respect to the future values of the model parameters. In this work, we study the counterfactual plans under model uncertainty, in which the distribution of the model parameters is partially prescribed using only the first- and second-moment information. First, we propose an uncertainty quantification tool to compute the lower and upper bounds of the probability of validity for any given counterfactual plan. We then provide corrective methods to adjust the counterfactual plan to improve the validity measure. The numerical experiments validate our bounds and demonstrate that our correction increases the robustness of the counterfactual plans in different real-world datasets.

研究の動機と目的

• 予測モデルが新規データで更新されることに伴う、反事実的計画の脆弱性を是正すること。
• モデルパラメータの不確実性下で、反事実的計画の妥当性確率の境界を、第一および第二モーメント情報のみを用いて定量化すること。
• 将来のモデルのパラメータシフトに対して反事実的計画の耐性を高めるための是正メカニズムを開発すること。
• 分布的不確実性下で妥当性、近接性、多様性を統合的にバランスさせる最適化フレームワーク（COPA）を設計すること。
• 時系列的、是正的、地理的シフトを含む、さまざまなタイプの分布的シフトが生じる実世界のデータセットにおいて、本手法の妥当性を検証すること。

提案手法

• 本手法は、複数回のトレーニングランで得られたモデルパラメータの経験的平均および共分散に基づき、分類器パラメータの不確実性を分布的不確実性集合でモデル化する。
• ゲルブリッヒ半径とモーメントベースの分布的情報に基づき、計画妥当性の確率の解析的下限および上限を導出する。
• 不確実性集合内での最悪のパラメータシフトを考慮した、耐性を高めた目的関数を最小化することで、反事実的計画を是正する手順を実施する。
• COPAフレームワークは、妥当性、近接性（マハラノビス距離を介して）、多様性（行列式点過程を介して）をバランスさせる多目的最適化問題として定式化する。
• トレーニングデータの50%を用いて1000個のブートストラップ分類器を訓練し、モデルパラメータの平均および共分散を経験的に推定する。
• ロバスト最適化技術を用いて、将来の妥当なモデルパラメータの範囲においても反事実的計画が有効であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 将来のモデルパラメータの不確実性下で、反事実的計画の耐性をどのように定量化できるか？
• RQ2 モデルパラメータが分布的に不確実な状況下で、与えられた反事実的計画の妥当性確率の範囲は何か？
• RQ3 将来のモデル更新に対して耐性を高めるために、反事実的計画をどのように是正できるか？
• RQ4 統合的な最適化フレームワークは、モデルの不確実性下で妥当性、近接性、多様性を効果的にバランスさせることができるか？
• RQ5 提案手法は、時系列的、是正的、地理的シフトといった異なるタイプのデータシフトにおいて、既存のベースラインと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、ドイツ信用、SBA、学生成績の3つの実世界データセットすべてで100%の実験的妥当性を達成し、DiCE や MahalanobisCrr を上回った。
• 多様性正則化を強化（λ₂ = 10.0）した場合、COPAは最高の多様性（0.380）を達成し、時系列シフトデータセットでも100%の実験的妥当性を維持した。
• 地理的シフトデータセットでは、COPAは100%の実験的妥当性とL*多様性指標0.998を達成し、DiCE（0.549）や MahalanobisCrr（0.864）を著しく上回った。
• 不確実性評価ツールで計算された妥当性下限は、実験的妥当性とよく一致しており、理論的境界の妥当性が裏付けられた。
• 是正メカニズムにより、特に時系列的および地理的シフトのような高シフト状況において、反事実的計画の耐性が向上した。
• DiCE や MahalanobisCrr と同様のベースライン手法が顕著な性能低下（例：地理的シフトでDiCEは40.8%に低下）を示す中、COPAはすべての設定で高い妥当性を維持した。