[论文解读] Causally motivated Shortcut Removal Using Auxiliary Labels

Maggie Makar, Ben Packer+4 more|arXiv (Cornell University)|May 13, 2021

Bayesian Modeling and Causal Inference参考文献 44被引用 8

一句话总结

本文提出了一种基于因果动机的方法，通过在训练过程中利用辅助标签来强制因果图中的条件独立性，从而缓解机器学习中的捷径学习问题。通过结合分布加权与不变性正则化，该方法在分布移位下实现了更优的鲁棒性与泛化能力，在理论和实践中均优于标准正则化以及IRM和Rex等现有方法。

ABSTRACT

Shortcut learning, in which models make use of easy-to-represent but unstable associations, is a major failure mode for robust machine learning. We study a flexible, causally-motivated approach to training robust predictors by discouraging the use of specific shortcuts, focusing on a common setting where a robust predictor could achieve optimal \emph{iid} generalization in principle, but is overshadowed by a shortcut predictor in practice. Our approach uses auxiliary labels, typically available at training time, to enforce conditional independences implied by the causal graph. We show both theoretically and empirically that causally-motivated regularization schemes (a) lead to more robust estimators that generalize well under distribution shift, and (b) have better finite sample efficiency compared to usual regularization schemes, even when no shortcut is present. Our analysis highlights important theoretical properties of training techniques commonly used in the causal inference, fairness, and disentanglement literatures. Our code is available at https://github.com/mymakar/causally_motivated_shortcut_removal

研究动机与目标

• 为解决捷径学习问题——即模型依赖于虚假相关性而非不变预测因子，尤其是在分布移位下。
• 开发一种方法，通过利用仅在训练时可用的辅助标签来强制模型预测的不变性，从而提升泛化能力。
• 提供一种理论基础扎实、基于因果动机的正则化方案，以增强有限样本下的效率与鲁棒性。
• 证明结合因果加权与不变性约束可优于现有方法（如IRM或Rex）

提出的方法

• 该方法使用一个因果DAG，其中主标签Y和辅助标签V共同生成输入X，且Y仅通过充分统计量X*影响X。
• 应用逆概率加权对训练数据进行重加权，以模拟目标分布，在该分布中V与Y之间的虚假相关性被打破。
• 通过不同V组表示之间的最大均值差异（MMD）施加不变性惩罚，确保模型预测对V保持不变。
• 最终模型通过最小化结合标准交叉熵与基于MMD的不变性约束的正则化风险进行训练。
• 该方法被设计为对一族分布移位具有鲁棒性，而不仅限于单一目标领域。
• 对于分类的V，MMD惩罚可扩展为成对比较，或替换为HSIC以处理更高基数的情况。

实验结果

研究问题

• RQ1 能否利用辅助标签训练出对由无关因素引起的分布移位具有不变性的模型？
• RQ2 结合因果加权与不变性正则化如何相较于标准正则化提升有限样本下的效率与鲁棒性？
• RQ3 基于因果动机的方法是否在分布内与分布外泛化方面均优于IRM和Rex等现有方法？
• RQ4 在假设的因果结构下，该方法提供了哪些理论保证？
• RQ5 该方法在半模拟基准与真实世界医学任务中的实际表现如何？

主要发现

• 在分布移位下，所提方法的泛化误差低于标准正则化方案，尤其在有限样本设置下表现更优。
• 该方法在半模拟基准与真实医学图像分类任务中展现出更优的分布外泛化能力。
• 实证结果表明，该方法在存在捷径学习时优于IRM与Rex。
• 理论分析表明，不变性约束通过正则化正交维度降低了模型复杂度，从而提升了效率。
• 即使不存在捷径时，该方法仍保持鲁棒性，表明其应用范围不仅限于捷径缓解。
• 加权与不变性正则化相结合的效果优于单一技术，凸显了该方法中两者的协同效应。