[论文解读] Contrastive Learning with Stronger Augmentations

Xiao Wang, Guo-Jun Qi|arXiv (Cornell University)|Apr 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 76被引用 37

一句话总结

介绍 CLSA，一种分布式散度框架，通过对强增强查询的检索进行监督（借助弱增强视图的分布）来利用更强的增强，从而提升对比学习的表现。

ABSTRACT

Representation learning has significantly been developed with the advance of contrastive learning methods. Most of those methods have benefited from various data augmentations that are carefully designated to maintain their identities so that the images transformed from the same instance can still be retrieved. However, those carefully designed transformations limited us to further explore the novel patterns exposed by other transformations. Meanwhile, as found in our experiments, the strong augmentations distorted the images' structures, resulting in difficult retrieval. Thus, we propose a general framework called Contrastive Learning with Stronger Augmentations~(CLSA) to complement current contrastive learning approaches. Here, the distribution divergence between the weakly and strongly augmented images over the representation bank is adopted to supervise the retrieval of strongly augmented queries from a pool of instances. Experiments on the ImageNet dataset and downstream datasets showed the information from the strongly augmented images can significantly boost the performance. For example, CLSA achieves top-1 accuracy of 76.2% on ImageNet with a standard ResNet-50 architecture with a single-layer classifier fine-tuned, which is almost the same level as 76.5% of supervised results. The code and pre-trained models are available in https://github.com/maple-research-lab/CLSA.

研究动机与目标

• 在对比学习中激发探索比精心设计的变换更强的随机增强。
• 提出一个分布式散度最小化（DDM）损失，用于监督强增强查询的检索，而不强求嵌入的严格等同性。
• 证明将 DDM 与现有对比损失结合可以改善弱/强增强视图的表征。
• 展示 CLSA 与多种对比学习框架（如 MoCo、SimCLR、BYOL）的兼容性及其对下游任务的影响。

提出的方法

• 引入一个非常强的增强 S，作为 14 种增强类型的随机组合。
• 定义一个弱增强对 (T', T) 和一个强增强 S，用以产生弱视图和强视图，其嵌入分别为 z'、z、z''。
• 计算一个对记忆库负样本的条件分布 p(z_j|z')，用于弱视图和强视图的负样本（式(3)与式(5)）。
• 给出一个分布式散度损失 L_D，最小化 p(.|z') 与 p(.|z'') 之间的散度（式(6)）。
• 将标准对比损失 L_C 与 L_D 结合：L = L_C + beta * L_D（实验中 beta = 1），以训练编码器。
• 证明 L_D 可以与任意并行的基于对比损失的方法集成（独立于基础损失）。
• 提供强增强的实现细节和消融研究，以支持分布式监督的必要性。

Figure 1: Contrastive instance learning framework

实验结果

研究问题

• RQ1 更强的、随机组合的增强是否可以在不崩溃性能的前提下提升自监督表征？
• RQ2 在弱视图与强视图之间的分布监督信号是否比朴素的一对一匹配更好地利用强增强？
• RQ3 CLSA 如何与现有对比损失互动，并影响除了 ImageNet 线性评估之外的下游任务？
• RQ4 分布式损失和增强类型选择的消融效应对性能有何影响？

主要发现

方法	Top-1
InstDisc	54.0
LocalAgg	58.8
MoCo	60.8
SimCLR	61.9
CPC v2	63.8
PCL	65.9
MoCo v2	67.5
InfoMin Aug	70.1
SWAV (Multi-Crop)	72.7
CLSA	69.4
CLSA* (Multi-Crop)	73.3
Supervised	76.5

• CLSA 在 ImageNet 上使用 ResNet-50 达到较强的结果，线性评估的 Top-1 为 76.2%，接近有监督的 76.5% 。
• 在 VOC07 上，CLSA 的预训练线性分类器的 Top-1 为 93.6%，超越先前记录的 88.9%。
• 对于 COCO 目标检测，CLSA 将小目标的 AP_S 从 20.8% 提升至 24.4%。
• 消融研究表明对增强的朴素使用会降低性能，验证了分布式引导的必要性。
• 通过引入分布式损失，CLSA 能显著提升现有对比方法（如 MoCo、SimCLR、BYOL）的性能。
• 该方法也提升了对强增强图像的表征，而不仅仅是对弱增强图像。

Figure 2: Comparison of the strongly weakly augmented images. The left is the original image, the middle is the weakly augmented image, and the right is the strongly augmented one with over-contrastive details.