[论文解读] Counterfactual Plans under Distributional Ambiguity

Ngoc Bui, Duy Nguyen+1 more|arXiv (Cornell University)|Jan 29, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

该论文提出了一种在模型参数分布模糊性下生成反事实计划的稳健框架，采用基于矩量的不确定性量化方法来界定有效性概率的上下界，并通过校正优化方法提升鲁棒性。实验表明，该方法在时间、修正和地理空间变化下的真实世界数据集中显著提升了有效性和多样性。

ABSTRACT

Counterfactual explanations are attracting significant attention due to the flourishing applications of machine learning models in consequential domains. A counterfactual plan consists of multiple possibilities to modify a given instance so that the model's prediction will be altered. As the predictive model can be updated subject to the future arrival of new data, a counterfactual plan may become ineffective or infeasible with respect to the future values of the model parameters. In this work, we study the counterfactual plans under model uncertainty, in which the distribution of the model parameters is partially prescribed using only the first- and second-moment information. First, we propose an uncertainty quantification tool to compute the lower and upper bounds of the probability of validity for any given counterfactual plan. We then provide corrective methods to adjust the counterfactual plan to improve the validity measure. The numerical experiments validate our bounds and demonstrate that our correction increases the robustness of the counterfactual plans in different real-world datasets.

研究动机与目标

• 为解决预测模型在更新新数据后导致参数变化时反事实计划的脆弱性问题。
• 仅使用一阶和二阶矩信息，量化在模型参数不确定情况下的反事实计划有效性的概率边界。
• 开发一种校正机制，以增强反事实计划对未来的模型变化的鲁棒性。
• 设计一个综合优化框架（COPA），在分布模糊性下联合平衡有效性、接近度和多样性。
• 在包含时间、修正和地理空间变化等多种分布偏移的真实世界数据集上验证该方法。

提出的方法

• 该方法使用多个训练运行中模型参数的经验均值和协方差定义的分布模糊集合来建模分类器参数的不确定性。
• 利用Gelbrich半径和基于矩量的分布信息，推导出计划有效性概率的解析下界和上界。
• 通过最小化考虑模糊集合内最坏参数变化的鲁棒化目标函数，对反事实计划进行校正。
• COPA框架将多目标优化问题形式化，以平衡有效性、接近度（通过马氏距离）和多样性（通过行列式点过程）。
• 从在50%训练数据上训练的1000个自助抽样分类器中，经验估计模型参数的均值和协方差。
• 采用鲁棒优化技术，确保反事实计划在一系列可能的未来模型参数下仍保持有效。

实验结果

研究问题

• RQ1 如何量化在未来的模型参数不确定情况下的反事实计划的鲁棒性？
• RQ2 当模型参数存在分布模糊性时，给定反事实计划的有效性概率范围是什么？
• RQ3 如何校正反事实计划以提高其对未来的模型更新的鲁棒性？
• RQ4 统一的优化框架能否在模型不确定性下有效平衡有效性、接近度和多样性？
• RQ5 与现有基线方法相比，该方法在不同类型的数据偏移（时间、修正和地理空间）下的表现如何？

主要发现

• 所提方法在三个真实世界数据集（德国信贷、SBA、学生成绩）上均实现了100%的实证有效性，优于DiCE和MahalanobisCrr。
• 随着多样性正则化强度增加（λ₂ = 10.0），COPA实现了最高的多样性（0.380），并在时间偏移数据集上保持了100%的实证有效性。
• 在地理空间偏移数据集上，COPA实现了100%的实证有效性以及0.998的L*多样性度量，显著优于DiCE（0.549）和MahalanobisCrr（0.864）。
• 通过不确定性量化工具计算的下界有效性概率与实证有效性高度一致，验证了理论边界的准确性。
• 校正机制显著提升了反事实计划的鲁棒性，尤其在时间偏移和地理空间偏移等高变化场景中表现突出。
• 即使基线方法如DiCE和MahalanobisCrr在性能上出现显著下降（例如DiCE在地理空间偏移上下降至40.8%），COPA仍保持了高有效性。