[論文レビュー] The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations

Christodoulou, Leonidas, Chang Sun|arXiv (Cornell University)|Jan 20, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

本論文は、機械学習モデルの aleatoric（確率的）不確実性と epistemic（知識的不確実性）が、近接ベースの反実仮説（counterfactual explanations: CE）の頑健性に与える影響を、合成および実データの表形式データセットを跨いで検討し、説明が小さな精度低下でも不安定になり得ることを示している。

ABSTRACT

Counterfactual explanations are widely used to interpret machine learning predictions by identifying minimal changes to input features that would alter a model's decision. However, most existing counterfactual methods have not been tested when model and data uncertainty change, resulting in explanations that may be unstable or invalid under real-world variability. In this work, we investigate the robustness of common combinations of machine learning models and counterfactual generation algorithms in the presence of both aleatoric and epistemic uncertainty. Through experiments on synthetic and real-world tabular datasets, we show that counterfactual explanations are highly sensitive to model uncertainty. In particular, we find that even small reductions in model accuracy - caused by increased noise or limited data - can lead to large variations in the generated counterfactuals on average and on individual instances. These findings underscore the need for uncertainty-aware explanation methods in domains such as finance and the social sciences.

研究の動機と目的

• 機械学習の不確実性の異なる源（ aleatoric と epistemic ）が、近接ベースの反実仮説（CE）の頑健性にどのように影響するかを評価する。
• 複数の機械学習モデルと CE アルゴリズムを比較し、実世界の表形式データセットにおける不確実性下での CE の安定性を理解する。
• 金融・社会科学などの高リスク領域における不確実性を意識した説明可能性の実務的指針を提供する。

提案手法

• 合成データと実データの表形式データを用いて、制御されたノイズ下で CE の頑健性を研究する。
• 複数の分類器（ロジスティック回帰、ベイズロジスティック回帰、ランダムフォレスト、ニューラルネットワーク）と CE 手法（DiCE、NICE、MILP ベース、RL ベース）をデータセットを跨いで評価する。
• 比較可能性を確保するための正規化を含む、CEの頑健性を定量化する重み付き混合空間 L1 距離を定義・計算する。
• FN，TN、および全体の精度に基づく CE の性能を分析し、ステークホルダーの関係する視点を捉える。

実験結果

リサーチクエスチョン

• RQ1 aleatoric および epistemic の不確実性が、近接ベースの反実仮説の頑健性にどのように影響するか？
• RQ2 より高い予測精度を持つモデルは、CE をより頑健にするのか？ CE 手法間で一貫した結論が得られるのか？
• RQ3 騒音が増加する中で、どの CE 手法と分類器の組み合わせが最も安定した反実仮説を示すのか？
• RQ4 合成データと実データ（ドイツ信用データ、Adult Income、Give Me Some Credit）で、CE の頑健性パターンはどのように異なるのか？

主な発見

• 反実仮説はモデルの不確実性に対して高く敏感であり、精度のわずかな低下でもCEに大きなシフトを引き起こすことがある。
• より高い分類器の精度が必ずしもCEをより頑健にするとは限らず、予測性能のみでモデルを選択する実践に異議を唱える。
• CEの頑健性はデータセットの複雑さと特徴次元性によって異なり、シナリオに応じて特定のML-CE組み合わせの方が安定する場合がある。
• 異なる CE 手法（DiCE、NICE、MILP、RL）と分類器（LR、BLR、RF、NN）は頑健性が異なり、全設定で優位な単一の組み合わせは存在しない。
• 本研究はスケーラブルな頑健性フレームワークと、分析を再現・拡張するための公開コード/データを提供する。