[论文解读] Counterfactual Normalization: Proactively Addressing Dataset Shift and Improving Reliability Using Causal Mechanisms

Adarsh Subbaswamy, Suchi Saria|arXiv (Cornell University)|Aug 9, 2018

Bayesian Modeling and Causal Inference参考文献 30被引用 15

一句话总结

本文提出反事实归一化（Counterfactual Normalization），一种因果机器学习方法，通过识别并消除不稳定、依赖环境的关系（尤其是涉及未观测混杂因素的关系），利用反事实变量隔离稳定路径，主动提升模型对数据集分布偏移的鲁棒性。该方法通过用其反事实对应物替换易受攻击的变量，增强模型在部署中的可靠性，尽管在训练阶段略有准确率损失，但模型在不同领域间的泛化能力显著提升。

ABSTRACT

Predictive models can fail to generalize from training to deployment environments because of dataset shift, posing a threat to model reliability and the safety of downstream decisions made in practice. Instead of using samples from the target distribution to reactively correct dataset shift, we use graphical knowledge of the causal mechanisms relating variables in a prediction problem to proactively remove relationships that do not generalize across environments, even when these relationships may depend on unobserved variables (violations of the "no unobserved confounders" assumption). To accomplish this, we identify variables with unstable paths of statistical influence and remove them from the model. We also augment the causal graph with latent counterfactual variables that isolate unstable paths of statistical influence, allowing us to retain stable paths that would otherwise be removed. Our experiments demonstrate that models that remove vulnerable variables and use estimates of the latent variables transfer better, often outperforming in the target domain despite some accuracy loss in the training domain.

研究动机与目标

• 解决由于训练环境与部署环境之间分布偏移导致的预测模型中的数据集分布偏移问题。
• 提升医疗等安全关键应用中模型的可靠性，因为泛化失败可能导致危险预测。
• 开发一种主动方法，利用因果知识识别并移除不稳定关系，而无需依赖观测到的混杂因素。
• 通过用反事实版本替换易受攻击的变量，隔离稳定统计影响，从而增强模型泛化能力。
• 通过因果基础的反事实特征，提供一种比现有基于调整的方法更具可解释性的替代方案。

提出的方法

• 构建因果图（DAG）以建模输入特征、目标结果与潜在混杂因素之间的关系。
• 利用 d-分离与因果图分析，识别出具有不稳定统计影响路径的变量，尤其是依赖于未观测混杂因素或选择偏差的变量。
• 将易受攻击的变量（如受政策依赖分布的治疗或共病）替换为可切断不稳定路径的反事实版本。
• 引入潜在反事实变量，以建模在不同干预下结果可能呈现的状态（例如，“若未接受治疗，血压会如何”），从而保留稳定的因果效应。
• 使用这些反事实特征作为条件变量进行模型训练，确保预测仅依赖于稳定且不变的关系。
• 通过在有偏数据上训练逻辑回归模型，并在无偏数据上测试，利用 AUROC 和 AUPRC 比较性能，对方法进行评估。

实验结果

研究问题

• RQ1 当未观测混杂因素违反无未观测混杂因素假设时，反事实归一化是否能提升模型在数据集分布偏移下的泛化能力？
• RQ2 用反事实版本替换易受攻击变量后，模型在不同部署环境中的性能是否更加稳定？
• RQ3 在有偏与无偏测试分布中，反事实归一化模型与使用易受攻击变量的标准模型相比，性能表现如何？
• RQ4 反事实特征在不依赖观测到的政策或混杂因素分布的情况下，能在多大程度上提升模型可靠性？
• RQ5 在无法访问目标领域数据的情况下，反事实归一化是否能超越依赖事后调整的领域自适应方法？

主要发现

• 在无偏测试数据上，反事实归一化模型的平均 AUPRC 达到 0.30，显著优于易受攻击模型（0.24），且在不同环境中表现出更强的稳定性。
• 在有偏训练数据上，反事实归一化模型的 AUPRC 略低（0.38），低于易受攻击模型（0.45），确认了预期的训练性能权衡。
• 与易受攻击模型相比，反事实归一化模型在训练与测试领域之间的性能差距显著缩小（AUPRC 下降 0.06 对比 0.21），表明其鲁棒性更强。
• 在无偏数据上，使用易受攻击变量的反事实归一化模型表现劣于非易受攻击版本，表明其未能有效利用反事实特征。
• 该方法成功通过移除未观测混杂因素与选择偏差带来的不稳定影响，隔离了稳定的因果路径，从而在部署中实现更可靠的预测。
• 结果表明，反事实归一化使模型即使在训练数据包含系统性偏差的情况下，也能更好地泛化到未见环境中。