[论文解读] Crafting Better Contrastive Views for Siamese Representation Learning

Xiangyu Peng, Kai Wang+3 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 ContrastiveCrop，一种即插即用模块，通过生成语义上有意义且多样的图像裁剪，提升孪生对比表示学习的效果。该方法利用语义感知的目标定位，避免产生误报（如物体与背景混淆），并采用中心抑制采样策略以增加裁剪的多样性，在 CIFAR-10、CIFAR-100、Tiny ImageNet 和 STL-10 上实现 0.4%–2.0% 的准确率提升，且在 ImageNet-1K 的预训练中，对下游检测与分割任务也保持一致的性能增益。

ABSTRACT

Recent self-supervised contrastive learning methods greatly benefit from the Siamese structure that aims at minimizing distances between positive pairs. For high performance Siamese representation learning, one of the keys is to design good contrastive pairs. Most previous works simply apply random sampling to make different crops of the same image, which overlooks the semantic information that may degrade the quality of views. In this work, we propose ContrastiveCrop, which could effectively generate better crops for Siamese representation learning. Firstly, a semantic-aware object localization strategy is proposed within the training process in a fully unsupervised manner. This guides us to generate contrastive views which could avoid most false positives (i.e., object vs. background). Moreover, we empirically find that views with similar appearances are trivial for the Siamese model training. Thus, a center-suppressed sampling is further designed to enlarge the variance of crops. Remarkably, our method takes a careful consideration of positive pairs for contrastive learning with negligible extra training overhead. As a plug-and-play and framework-agnostic module, ContrastiveCrop consistently improves SimCLR, MoCo, BYOL, SimSiam by 0.4% ~ 2.0% classification accuracy on CIFAR-10, CIFAR-100, Tiny ImageNet and STL-10. Superior results are also achieved on downstream detection and segmentation tasks when pre-trained on ImageNet-1K.

研究动机与目标

• 为解决对比学习中随机裁剪带来的局限性，例如常产生误报（如物体与背景混淆）以及生成平凡且高度相似的视图。
• 通过在裁剪采样中引入语义内容与多样性，提升孪生表示学习中正样本对的质量。
• 设计一种与框架无关、计算开销低的模块，可在不修改网络结构的前提下增强现有对比方法。
• 通过实证验证，更优的裁剪设计可使多种数据集和下游任务中的表示更具判别性。

提出的方法

• 提出一种在对比学习过程中完全无监督训练的语义感知目标定位策略，用于指导裁剪采样聚焦于物体区域。
• 采用以 α < 1 的 β 分布实现的中心抑制采样，降低选择中心区域、高度相似裁剪的概率。
• 结合语义定位与方差感知采样，生成在语义上有意义且具有多样性的对比视图。
• 采用可微、端到端的训练流程，将裁剪生成模块无缝集成至孪生网络中，无需修改主干网络或对比损失函数。
• 采用即插即用的设计，兼容使用与不使用负样本的对比框架（如 SimCLR 与 BYOL/SimSiam）。
• 结合标准数据增强方法（如颜色抖动、模糊处理）与 ContrastiveCrop，展现出正交且互补的性能增益。

(a)

实验结果

研究问题

• RQ1 语义感知的裁剪定位能否减少对比学习中的误报学习信号（如物体与背景混淆）？
• RQ2 增加正样本裁剪之间的方差是否能提升表示学习性能？
• RQ3 像 ContrastiveCrop 这样简单且与框架无关的模块，能否在多种对比学习方法中持续提升性能？
• RQ4 通过 β 分布控制的裁剪采样方差，如何影响下游迁移准确率？
• RQ5 当在 ImageNet-1K 上进行预训练时，ContrastiveCrop 在下游检测与分割任务中的性能提升程度如何？

主要发现

• 在使用 SimCLR、MoCo、BYOL 和 SimSiam 时，ContrastiveCrop 在 CIFAR-10、CIFAR-100、Tiny ImageNet 和 STL-10 上均实现 0.4%–2.0% 的分类准确率提升。
• 在 ImageNet-1K 预训练中，ContrastiveCrop 在 PASCAL VOC 目标检测任务上相较 MoCo V1 基线模型实现 +0.2AP、+0.2AP50 和 +0.4AP75 的性能增益。
• 在 COCO 数据集上，该方法在目标检测与实例分割任务中均表现出更优性能，且在所有指标上均保持一致的增益。
• 采用 α < 1 的中心抑制采样策略始终优于均匀采样与 α > 1 的情况，证实更高的裁剪方差有助于提升学习效果。
• 当与 MoCo V2 风格的增强策略（翻转、颜色抖动、灰度化、模糊）结合时，ContrastiveCrop 相较于 RandomCrop 实现 1.2% 的准确率差距，表明其增益具有正交性与可加性。
• 消融实验表明，仅使用 ContrastiveCrop 即可使准确率较 RandomCrop 提升 0.4%，证明其在数据增强之外仍具备内在优越性。

(b)