[论文解读] MixCo: Mix-up Contrastive Learning for Visual Representation

Sungnyun Kim, Gihun Lee+2 more|arXiv (Cornell University)|Oct 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 54

一句话总结

MixCo 将对比学习通过混合生成的半正样本拓展，在跨数据集的线性评测中表现提升，尤其是在训练资源有限的情况下。

ABSTRACT

Contrastive learning has shown remarkable results in recent self-supervised approaches for visual representation. By learning to contrast positive pairs' representation from the corresponding negatives pairs, one can train good visual representations without human annotations. This paper proposes Mix-up Contrast (MixCo), which extends the contrastive learning concept to semi-positives encoded from the mix-up of positive and negative images. MixCo aims to learn the relative similarity of representations, reflecting how much the mixed images have the original positives. We validate the efficacy of MixCo when applied to the recent self-supervised learning algorithms under the standard linear evaluation protocol on TinyImageNet, CIFAR10, and CIFAR100. In the experiments, MixCo consistently improves test accuracy. Remarkably, the improvement is more significant when the learning capacity (e.g., model size) is limited, suggesting that MixCo might be more useful in real-world scenarios. The code is available at: https://github.com/Lee-Gihun/MixCo-Mixup-Contrast.

研究动机与目标

• 在不使用标签的情况下提升自监督视觉表征。
• 通过 mix-up 将对比学习扩展到半正样本。
• 展示 MixCo 在下游任务上的转移性能改善。
• 证明在训练资源有限时，增益更为显著。

提出的方法

• 将 MixCo 定义为对比损失的即时扩展，使用混合图像来创建半正目标。
• 通过对两张图像的凸组合生成混合数据 x_mix，并计算其表示 v_mix。
• 将 MixCo 损失定义为标准对比损失与将 v_mix 同 v_i、v_k 连接的半正损失的组合。
• 使用加权参数 beta 将损失组合起来：L_total = L_Contrast + beta * L_MixCo。
• 将 MixCo 应用于 MoCo-v2 和 SimCLR，并通过 TinyImageNet、CIFAR-10 和 CIFAR-100 的线性评估进行评估。

实验结果

研究问题

• RQ1 通过 mix-up 引入半正样本是否能提升对比学习得到的视觉表征质量？
• RQ2 MixCo 是否与现有的对比学习框架（如 MoCo-v2、SimCLR）兼容，并在不同模型规模上都带来收益？
• RQ3 MixCo 在迁移到未在预训练中看到的下游数据集上的表现如何？
• RQ4 当计算资源或模型容量有限时，MixCo 的增益是否更为显著？

主要发现

• MixCo 在编码器尺寸和数据集上稳定地提升了线性评估。
• 在使用 ResNet-18、训练 100 轮的情形下，MixCo 相对基线 MoCo-v2 与 SimCLR 提升了 TinyImageNet、CIFAR-10 与 CIFAR-100 的结果。
• 最大相对增益出现在较小的模型与较少的训练资源情形下（例如，ResNet-18 100 轮在 TinyImageNet Top-1 增加 6.84 个百分点）。
• 启用 MixCo 的模型在 CIFAR-10/100 与 TinyImageNet 的迁移精度均高于非 MixCo 的对比模型。