[论文解读] Making Contrastive Learning Robust to Shortcuts

Tianhong Li, Lijie Fan+5 more|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 22被引用 5

一句话总结

本文提出重构对比学习（Reconstructive Contrastive Learning, RCL），通过在潜在空间中强制输入重构来增强对比学习，以对抗捷径学习问题。通过联合优化对比学习与重构目标，RCL 学习到更鲁棒、更具泛化能力的表示，减少对虚假特征的依赖，在多种数据集和多属性任务上均优于当前最先进方法。

ABSTRACT

Contrastive learning is one of the fastest growing research areas in machine learning due to its ability to learn useful representations without labeled data. However, contrastive learning is susceptible to shortcuts - i.e., it may learn shortcut features irrelevant to the task of interest, and discard relevant information. Past work has addressed this limitation via handcrafted data augmentations that eliminate the shortcut. But, manually crafted augmentations do not work across all datasets and tasks. Further, data augmentations fail in addressing shortcuts in multi-attribute classification when one attribute acts as a shortcut around other attributes. In this paper, we analyze the objective function of contrastive learning and formally prove that it is vulnerable to shortcuts. We then present reconstructive contrastive learning (RCL), a framework for learning unsupervised representations that are robust to shortcuts. The key idea is to force the learned representation to reconstruct the input, which naturally counters potential shortcuts. Extensive experiments verify that RCL is highly robust to shortcuts and outperforms state-of-the-art contrastive learning methods on a variety of datasets and tasks.

研究动机与目标

• 解决对比学习对与真实任务无关但与标签相关联的捷径特征的脆弱性问题。
• 克服手工设计数据增强方法的局限性，这些方法具有数据集特异性，且在多属性分类任务中（当某一属性成为捷径时）效果不佳。
• 对对比学习目标进行形式化分析，并证明其对捷径学习的敏感性。
• 开发一种通用框架，在不依赖任务特定数据增强的前提下提升鲁棒性。

提出的方法

• 引入联合优化目标，将对比学习与自编码重构损失相结合，以强制输入数据的忠实表示。
• 采用双流编码器-解码器架构，其中对比损失促使正样本对对齐，而重构损失则确保与原始输入的一致性。
• 形式化证明标准对比学习因目标未对无关特征学习施加惩罚，因而易受捷径学习影响。
• 在预训练过程中应用重构损失以正则化表示空间，降低利用虚假相关性的可能性。
• 通过要求模型保留所有输入信息，使重构目标成为对抗捷径特征的归纳偏置。
• 使用对比损失与重构损失的加权组合进行端到端训练，以平衡表示质量与重构保真度。

实验结果

研究问题

• RQ1 能否形式化证明标准对比学习目标对捷径学习存在脆弱性？
• RQ2 在潜在空间中强制输入重构是否能有效缓解表示学习中的捷径学习问题？
• RQ3 RCL 是否能在数据增强失效的多样化数据集和多属性分类任务中实现泛化？
• RQ4 在存在捷径条件下的鲁棒性与准确性方面，RCL 与当前最先进对比学习方法相比表现如何？

主要发现

• 本文形式化证明了标准对比学习目标因缺乏对无关特征的显式正则化，而对捷径学习存在脆弱性。
• 在 Cifar-100 和 CUB-200 等多个基准数据集上，在受控捷径条件下，RCL 显著降低了对捷径特征的依赖。
• 在多属性分类任务中，当某一属性成为捷径时，RCL 仍能保持高准确率，优于当前最先进对比学习方法。
• 在下游线性评估协议中，RCL 表现更优，证明了其更强的泛化能力与鲁棒性。
• 消融研究证实，重构损失是缓解捷径学习的关键组件，若移除该组件则性能明显下降。
• 该方法在无需任务特定数据增强的情况下，可在多种数据集上良好泛化，优于先前方法。