[论文解读] CO2: Consistent Contrast for Unsupervised Visual Representation Learning

Chen Wei, Huiyu Wang+2 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用 10

一句话总结

CO2 提出了一种用于无监督视觉表征学习的一致性正则化方法，通过建模图像裁剪之间的异质相似性来提升对比学习。通过将查询裁剪与正样本裁剪之间的相似性视为伪标签，并强制查询与正样本相似性之间的一致性，CO2 在 ImageNet 线性评估上将 MoCo 的 top-1 准确率提升了 2.9%，并在半监督和下游任务中表现出一致的性能增益。

ABSTRACT

Contrastive learning has been adopted as a core method for unsupervised visual representation learning. Without human annotation, the common practice is to perform an instance discrimination task: Given a query image crop, this task labels crops from the same image as positives, and crops from other randomly sampled images as negatives. An important limitation of this label assignment strategy is that it can not reflect the heterogeneous similarity between the query crop and each crop from other images, taking them as equally negative, while some of them may even belong to the same semantic class as the query. To address this issue, inspired by consistency regularization in semi-supervised learning on unlabeled data, we propose Consistent Contrast (CO2), which introduces a consistency regularization term into the current contrastive learning framework. Regarding the similarity of the query crop to each crop from other images as "unlabeled", the consistency term takes the corresponding similarity of a positive crop as a pseudo label, and encourages consistency between these two similarities. Empirically, CO2 improves Momentum Contrast (MoCo) by 2.9% top-1 accuracy on ImageNet linear protocol, 3.8% and 1.1% top-5 accuracy on 1% and 10% labeled semi-supervised settings. It also transfers to image classification, object detection, and semantic segmentation on PASCAL VOC. This shows that CO2 learns better visual representations for these downstream tasks.

研究动机与目标

• 解决对比学习中实例判别方法的局限性，即所有负样本均被同等对待，尽管其语义相似性存在差异。
• 缓解由 one-hot 标签引起的“类别碰撞”问题，即来自不同图像但语义相似的裁剪被错误地视为负样本。
• 引入一种受半监督学习启发的一致性正则化框架，以利用查询与负样本裁剪之间的未标注相似性。
• 在无需人工标注标签的情况下提升表征质量，从而更好地迁移到下游任务（如分类、检测和分割）。

提出的方法

• 将查询裁剪与正样本裁剪之间的相似性视为查询与其他裁剪之间相似性的伪标签。
• 引入一致性正则化项，促使模型在与同一负样本裁剪比较时，对查询及其正样本裁剪预测出相似的相似性。
• 制定一个联合目标函数，结合标准的实例判别损失与一致性正则化项，以生成虚拟软标签。
• 使用动量编码器在训练过程中稳定正样本相似性的预测，从而提升一致性学习效果。
• 以自监督、自举的方式训练模型，使模型自身的预测引导更鲁棒表征的学习。
• 应用数据增强生成正样本和负样本裁剪，保持与现有对比学习框架（如 MoCo）的兼容性。

实验结果

研究问题

• RQ1 通过建模图像裁剪之间的异质相似性，一致性正则化能否提升无监督对比学习？
• RQ2 与标准 one-hot 实例判别相比，将正样本裁剪相似性视为伪标签对表征质量有何影响？
• RQ3 CO2 在多大程度上减轻了对比学习中‘类别碰撞’的负面影响？
• RQ4 该方法在不同评估协议（包括线性探测、半监督学习和下游任务）中是否具有泛化能力？
• RQ5 一致性正则化能否有效应用于传统上被视为纯监督的无监督掩码任务？

主要发现

• 在 ImageNet 线性分类协议下，CO2 将 MoCo 的 top-1 准确率提升了 2.9%，显著增强了自监督表征学习性能。
• 在 1% 标注的半监督学习设置下，CO2 相较于 MoCo 实现了 3.8% 的 top-5 准确率提升，表明在低监督设置下具有强大的泛化能力。
• 在 10% 标注的半监督设置下，CO2 相较于 MoCo 实现了 1.1% 的 top-5 准确率增益，表明在不同数据规模下均保持一致的性能提升。
• CO2 在迁移到下游任务时表现更优，在 PASCAL VOC 上的图像分类、目标检测和语义分割基准测试中均优于 MoCo。
• 一致性正则化项有效降低了语义相似但被错误标记为负样本的样本的影响，改善了特征空间的聚类效果。
• 该方法与现有对比学习框架（如 MoCo）保持兼容，可实现即插即用的性能提升，无需架构重构。