[论文解读] On Counterfactual Explanations under Predictive Multiplicity

Martin Pawelczyk, Klaus Broelemann+1 more|arXiv (Cornell University)|Jun 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用 21

一句话总结

本文挑战了在预测多重性（即多个模型表现相当）背景下，稀疏反事实解释（通过最小化输入扰动）为最优的假设。研究表明，与真实且正确分类的正例对齐的数据支持型反事实解释在模型变化时更具鲁棒性，但其生成成本固有地更高；理论与实证证据表明，在多重性背景下，其成本更高。

ABSTRACT

Counterfactual explanations are usually obtained by identifying the smallest change made to an input to change a prediction made by a fixed model (hereafter called sparse methods). Recent work, however, has revitalized an old insight: there often does not exist one superior solution to a prediction problem with respect to commonly used measures of interest (e.g. error rate). In fact, often multiple different classifiers give almost equal solutions. This phenomenon is known as predictive multiplicity (Breiman, 2001; Marx et al., 2019). In this work, we derive a general upper bound for the costs of counterfactual explanations under predictive multiplicity. Most notably, it depends on a discrepancy notion between two classifiers, which describes how differently they treat negatively predicted individuals. We then compare sparse and data support approaches empirically on real-world data. The results show that data support methods are more robust to multiplicity of different models. At the same time, we show that those methods have provably higher cost of generating counterfactual explanations under one fixed model. In summary, our theoretical and empiricaln results challenge the commonly held view that counterfactual recommendations should be sparse in general.

研究动机与目标

• 研究预测多重性（即多个模型表现相当）对反事实解释可靠性的影响。
• 挑战一种普遍假设，即稀疏反事实解释（最小化 ℓp-范数变化）在推荐场景中为最优。
• 评估与正类中真实样本对齐的数据支持型反事实解释是否在模型变化下具有更强鲁棒性。
• 推导在模型多重性下反事实解释成本的理论边界。
• 为现实决策系统中的反事实推荐提供成本保证。

提出的方法

• 推导出反事实成本的一般上界，其依赖于两个分类器之间的差异度量，用于量化它们对负样本预测个体的不同处理方式。
• 比较两种反事实生成方法：稀疏方法（最小化 ℓp-范数变化）与数据支持方法（更接近正确分类的正样本）。
• 使用两个真实世界数据集（HELOC 和 'Give Me Some Credit'）及线性模型进行成本的实证评估。
• 通过两种指标衡量成本：总百分位变化（所有特征上绝对变化的总和）与最大百分位变化（单个最大变化）。
• 采用基于变分自编码器（VAE）的方法（OURS）生成数据支持型反事实解释，与稀疏基线方法（GS 和 AR）进行对比。
• 分析反事实解释与原始数据的特征分布，以评估其语义合理性和分布一致性。

实验结果

研究问题

• RQ1 当部署的模型发生变化时，预测多重性如何影响反事实解释的成本与可靠性？
• RQ2 与稀疏反事实解释相比，数据支持型反事实解释是否对模型变化更具鲁棒性？
• RQ3 在模型多重性下，反事实解释成本的理论上限是什么？
• RQ4 为何数据支持型反事实解释通常成本更高？这一成本权衡是否影响其实际可用性？
• RQ5 能否在模型不确定性下以最小成本生成不变的反事实推荐？

主要发现

• 数据支持型反事实解释比稀疏反事实解释更具鲁棒性，因为其与正确分类正样本的决策模式保持一致。
• 在 HELOC 和 'Give Me Some Credit' 数据集上，基于 VAE 的数据支持方法（OURS）生成的反事实解释在总百分位变化与最大百分位变化上均显著高于稀疏方法（GS 和 AR）。
• 反事实解释成本的理论上限依赖于分类器之间的差异度量，表明若模型稳定性被破坏，预测多重性可能显著增加成本。
• 在固定模型下，稀疏反事实解释成本更低，但当模型改变时其泛化能力下降，从而在实践中削弱了其可靠性。
• 与真实且正确分类的样本接近的反事实推荐（即数据支持型）在语义上更具意义，且在分布上更合理，如时间性示例中的特征分布对齐所示。
• 数据支持型反事实解释成本更高的原因在于其避免了可能违反直觉或不可行的最小变化（例如，保持逾期付款状态不变），而是与现实可行的改变对齐。