[论文解读] Improved Baselines with Momentum Contrastive Learning

Xinlei Chen, Haoqi Fan+2 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 17被引用 2,109

一句话总结

本文将 SimCLR 启发的改进（MLP 投影头和更强的数据增强）嵌入到 MoCo 中，在不需要大规模训练批次的前提下，达到比 SimCLR 更强的自监督基线，并分析了在 8 个 GPU 上的内存和时间成本。

ABSTRACT

Contrastive unsupervised learning has recently shown encouraging progress, e.g., in Momentum Contrast (MoCo) and SimCLR. In this note, we verify the effectiveness of two of SimCLR's design improvements by implementing them in the MoCo framework. With simple modifications to MoCo---namely, using an MLP projection head and more data augmentation---we establish stronger baselines that outperform SimCLR and do not require large training batches. We hope this will make state-of-the-art unsupervised learning research more accessible. Code will be made public.

研究动机与目标

• 在 MoCo 框架内推动更强、易获得的自监督基线。
• 研究 SimCLR 启发的改进（MLP 投影头、增强的增强）是否转移到 MoCo。
• 量化 ImageNet 线性分类与 VOC 目标检测转移中的性能提升。
• 在主流硬件上评估基于 MoCo 的改进的计算成本与实用性。

提出的方法

• 在MoCo v2中实现一个MLP投影头（2层 MLP，2048 维隐藏层）。
• 引入比 SimCLR 更强的数据增强，包括模糊。
• 探索 MoCo 的余弦学习率调度，并与基线进行比较。
• 在 ImageNet 线性分类（1 抽样，224）和 VOC07+12 目标检测转移上使用 Faster R-CNN 检测器进行评估。
• 在不同的周期和批量大小下，与 MoCo v1 和 SimCLR 进行对比。
• 提供消融实验，展示 MLP、增强和调度对性能的影响。

实验结果

研究问题

• RQ1 将 MLP 投影头加入到 MoCo 是否能改善下游转移性能？
• RQ2 更强的数据增强（包括模糊）是否提升基于 MoCo 的表征？
• RQ3 MoCo 能否在不需要极大批量大小的前提下达到与 SimCLR 竞争或更优的结果？
• RQ4 采用带有这些改进的 MoCo v2 时，在训练时间和内存方面有哪些权衡？

主要发现

case	MLP	aug+	cos	epochs	acc.	AP50	AP	AP75
(a)	✓	−	−	200	60.6	81.5	55.9	62.6
(b)	−	✓	−	200	63.4	82.2	56.8	63.2
(c)	✓	✓	−	200	67.3	82.5	57.2	63.9
(d)	✓	✓	✓	200	67.5	82.4	57.0	63.6
(e)	✓	✓	✓	800	71.1	82.5	57.4	64.0

• 配有 MLP 投影头和更强增强的 MoCo v2，在相同设置下的 ImageNet 线性精度高于 MoCo v1 和 SimCLR。
• 在 MLP 的最佳温度 tau 下，ImageNet 线性精度从 60.6% 提升到 66.2%。
• 仅使用额外的增强就将 ImageNet 精度提高到 63.4%，而仅有 MLP 达到 66.2%（在最佳 tau 下）；两者结合则达到 67.3%。
• 在 800 次预训练周期后，MoCo v2 达到 71.1% 的 ImageNet 精度，超过 SimCLR 的 69.3%（1000 次周期）。
• 在 VOC 目标检测上，MoCo v2 的变体显示出鲁棒的迁移能力，在 AP50/AP/AP75 与在类似训练 regime 下的基线 MoCo v1 和 SimCLR 相当或更好。
• MoCo 的负键队列将批量大小与负样本解耦，使在标准 8-GPU 硬件上无需大规模 TPU 批次就能实现强大性能。