[论文解读] Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations

Michael Zhang, Nimit S. Sohoni+3 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Data Classification被引用 15

一句话总结

本文提出 Correct-n-Contrast (CnC)，一种对比学习方法，可在无需虚假相关属性或组别标签的情况下提升对虚假相关性的鲁棒性。通过利用预训练 ERM 模型的预测结果来识别同类别但具有不同虚假特征的样本，CnC 使用对比学习对这些样本的表示进行对齐，同时将跨类但具有相同虚假特征的样本对分离开来，从而在基准测试中实现了最先进水平的最差组准确率，平均绝对提升达 3.6%。

ABSTRACT

Spurious correlations pose a major challenge for robust machine learning. Models trained with empirical risk minimization (ERM) may learn to rely on correlations between class labels and spurious attributes, leading to poor performance on data groups without these correlations. This is particularly challenging to address when spurious attribute labels are unavailable. To improve worst-group performance on spuriously correlated data without training attribute labels, we propose Correct-N-Contrast (CNC), a contrastive approach to directly learn representations robust to spurious correlations. As ERM models can be good spurious attribute predictors, CNC works by (1) using a trained ERM model's outputs to identify samples with the same class but dissimilar spurious features, and (2) training a robust model with contrastive learning to learn similar representations for same-class samples. To support CNC, we introduce new connections between worst-group error and a representation alignment loss that CNC aims to minimize. We empirically observe that worst-group error closely tracks with alignment loss, and prove that the alignment loss over a class helps upper-bound the class's worst-group vs. average error gap. On popular benchmarks, CNC reduces alignment loss drastically, and achieves state-of-the-art worst-group accuracy by 3.6% average absolute lift. CNC is also competitive with oracle methods that require group labels.

研究动机与目标

• 在不依赖虚假属性或组别身份标签的情况下，提升机器学习模型在最差组上的泛化能力。
• 解决现有方法依赖于理想化组别标签或未能直接优化表示对齐的局限性。
• 开发一种对比学习框架，明确鼓励模型依赖于类别判别性特征，而非虚假属性。
• 从理论和实证上建立表示对齐与最差组误差减少之间的联系，为鲁棒性提供新的优化目标。

提出的方法

• 训练一个初始的 ERM 模型以预测类别标签，并利用其输出间接推断虚假属性模式。
• 利用 ERM 模型的预测结果采样困难正样本：同类别但预测结果不同的样本，以促进表示对齐。
• 利用困难负样本：不同类别但 ERM 预测结果相同的样本，以在表示空间中强制实现跨类分离。
• 应用带有动量编码器的对比学习，联合优化类内对齐与类间分离。
• 引入一种新颖的采样策略，优先选择模糊或存在虚假相关性的样本，以提升鲁棒性。
• 该方法最小化一种表示对齐损失，该损失对每类的最差组与平均误差差距提供了上界。

实验结果

研究问题

• RQ1 能否将表示对齐（通过嵌入空间中同类别但不同虚假特征样本的接近程度衡量）作为减少最差组误差的代理指标？
• RQ2 一种利用 ERM 模型预测结果定义困难正负样本的对比学习方法，是否可在不访问虚假属性标签的情况下提升鲁棒性？
• RQ3 对齐损失与最差组泛化之间有何关系？它能否用于对最差组与平均误差差距提供上界？
• RQ4 CnC 是否能在具有强虚假相关性的基准测试中，以最差组准确率为指标，超越现有的自监督和无组别依赖的鲁棒学习方法？

主要发现

• CnC 在所有评估基准上显著降低了对齐损失，表明表示鲁棒性得到提升。
• 最差组误差与对齐损失紧密跟踪，验证了所提出的表示对齐与鲁棒性之间的关联。
• CnC 在标准基准上相对于 ERM 和最先进基线模型，最差组准确率实现了 3.6% 的平均绝对提升。
• 在多个设置中，CnC 超过了需要组别标签的有监督方法，证明其在无虚假属性监督下的有效性。
• UMAP 可视化显示，CnC 的表示仅依赖于类别标签，而不依赖于虚假属性，而 ERM 和 Jtt 则并非如此。
• GradCAM 可视化结果表明，CnC 模型主要关注与类别相关的关键特征（如鸟类身体、头发），而 ERM 模型则聚焦于虚假背景或属性。