[论文解读] Contrastive Learning with Consistent Representations

Zihu Wang, Yu Wang+3 more|arXiv (Cornell University)|Feb 3, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出 CoCor，一种对比学习框架，通过数据驱动的单调神经网络学习最优相似度值，基于增强强度实现数据增强一致性——即更强的数据增强产生更不相似的表示。该方法在使用 ResNet-50 和 200 个周期预训练时，在 ImageNet 上实现了 72.8% 的线性评估准确率，达到当前最先进水平，优于采用更长预训练周期的先前 SOTA 方法。

ABSTRACT

Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without necessitating explicit labels. Nonetheless, the efficacy of current methodologies heavily hinges on the quality of employed data augmentation (DA) functions, often chosen manually from a limited set of options. While exploiting diverse data augmentations is appealing, the complexities inherent in both DAs and representation learning can lead to performance deterioration. Addressing this challenge and facilitating the systematic incorporation of diverse data augmentations, this paper proposes Contrastive Learning with Consistent Representations CoCor. At the heart of CoCor is a novel consistency metric termed DA consistency. This metric governs the mapping of augmented input data to the representation space, ensuring that these instances are positioned optimally in a manner consistent with the applied intensity of the DA. Moreover, we propose to learn the optimal mapping locations as a function of DA, all while preserving a desired monotonic property relative to DA intensity. Experimental results demonstrate that CoCor notably enhances the generalizability and transferability of learned representations in comparison to baseline methods.

研究动机与目标

• 解决对比表示学习中因多样化数据增强使用不一致导致的性能下降问题。
• 系统性地整合大量复合数据增强，而无需依赖人工挑选的有限增强集合。
• 强制实现一种理想特性：更强的增强应产生越来越不相似的表示，从而提升表示质量。
• 开发一种可学习的、单调的映射，从增强组合到潜在空间中的最优相似度。

提出的方法

• 引入复合增强集合 A，以编码基本增强类型、数量和强度的组合向量表示。
• 将数据增强一致性定义为一种原则：更强的增强必须相对于原始输入产生更不相似的潜在表示。
• 提出一致性损失，通过惩罚与学习到的最优相似度函数的偏差来强制执行该原则。
• 使用双层优化框架训练一个黑箱神经网络，将增强组合向量映射到最优相似度值。
• 对神经网络施加部分单调性约束，以确保更强的增强始终产生更小的相似度值。
• 采用数据驱动方法，在无需先验知识的情况下学习最优相似度函数，利用无标签数据并进行端到端训练。

实验结果

研究问题

• RQ1 能否开发一种系统性方法，在不引起性能下降的前提下，充分利用大量多样化数据增强进行对比学习？
• RQ2 如何建模增强强度与表示相似度之间的关系，以确保潜在空间中的一致性？
• RQ3 在从增强组合到相似度的映射中强制实施单调性，对表示质量有何影响？
• RQ4 可学习的、数据驱动的相似度函数能否优于固定或人工调优的相似度阈值？

主要发现

• CoCor 在使用 ResNet-50 和仅 200 个周期预训练时，在 ImageNet 上实现了 72.8% 的线性评估 top-1 准确率，优于所有列出的基线方法，包括那些使用 800 个周期的模型。
• 该方法优于使用相同多裁剪策略的 SwAV，表明 CoCor 的多样化增强策略能带来额外的表示优势。
• 在 VOC07 目标检测任务中，CoCor 仅用 200 个周期预训练即达到 24.6% 的 APs，比 MoCo v2 的 20.8% 提高了 3.8%，表明其在小目标检测中具有更优的泛化能力。
• 消融实验表明，使用部分单调的神经网络可将 CIFAR-10 上的线性评估准确率从 50.20% 提升至 52.04%，证实了自适应、单调相似度学习的优势。
• 该单调神经网络有效捕捉了变换类型和强度的差异，实现了增强强度与表示不相似度之间的更好对齐。
• 双层优化框架成功利用有限的标注数据训练了相似度网络，通过端到端优化提升了编码器性能。