[论文解读] A simple, efficient and scalable contrastive masked autoencoder for learning visual representations

Shlok Mishra, Joshua A. Robinson+5 more|arXiv (Cornell University)|Oct 30, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

CAN 是一种简单、高效且可扩展的自监督学习方法，结合了对比学习、掩码自编码和去噪扩散目标。通过在两种视图中均掩码 50% 的图像块，并联合优化对比损失、重建损失和噪声预测损失，CAN 在 ImageNet 和 JFT-300M 上实现了最先进性能，线性探测和微调评估结果优于 SimCLR 和 MAE，且计算量比 SimCLR 降低 70%。

ABSTRACT

We introduce CAN, a simple, efficient and scalable method for self-supervised learning of visual representations. Our framework is a minimal and conceptually clean synthesis of (C) contrastive learning, (A) masked autoencoders, and (N) the noise prediction approach used in diffusion models. The learning mechanisms are complementary to one another: contrastive learning shapes the embedding space across a batch of image samples; masked autoencoders focus on reconstruction of the low-frequency spatial correlations in a single image sample; and noise prediction encourages the reconstruction of the high-frequency components of an image. The combined approach results in a robust, scalable and simple-to-implement algorithm. The training process is symmetric, with 50% of patches in both views being masked at random, yielding a considerable efficiency improvement over prior contrastive learning methods. Extensive empirical studies demonstrate that CAN achieves strong downstream performance under both linear and finetuning evaluations on transfer learning and robustness tasks. CAN outperforms MAE and SimCLR when pre-training on ImageNet, but is especially useful for pre-training on larger uncurated datasets such as JFT-300M: for linear probe on ImageNet, CAN achieves 75.4% compared to 73.4% for SimCLR and 64.1% for MAE. The finetuned performance on ImageNet of our ViT-L model is 86.1%, compared to 85.5% for SimCLR, and 85.4% for MAE. The overall FLOPs load of SimCLR is 70% higher than CAN for ViT-L models.

研究动机与目标

• 开发一种可高效扩展至大规模未标注数据集（如 JFT-300M）的自监督视觉表征学习方法。
• 通过结合对比学习与掩码自编码方法的互补优势，解决现有方法的局限性。
• 提升在迁移学习、少样本学习和分布偏移基准测试中的鲁棒性与下游性能。
• 通过对称掩码和多目标训练，在保持或提升模型准确率的同时降低计算成本。

提出的方法

• CAN 采用对称训练方案，即在两种视图中均掩码 50% 的图像块，从而实现比全视图对比方法更低的 FLOPs，提升训练效率。
• 模型联合优化三种目标：通过 InfoNCE 损失实现对比学习以对齐正样本对，通过掩码自编码实现对掩码图像块的重建，通过去噪任务预测添加到未掩码图像块上的高斯噪声。
• 去噪损失促使模型学习高频图像成分，与重建任务关注的低频成分形成互补。
• 对比损失在批次层面应用，而重建与去噪损失在样本层面应用，从而实现互补的归纳偏置。
• 该方法采用视觉 Transformer 作为主干网络，并通过统一的、联合的目标端到端训练所有三个组件。
• 超参数（如对比损失权重和噪声水平）经过调优以平衡三种目标，最优设置为 λ_InfoNCE = 0.03 和 σ_max = 0.05。

实验结果

研究问题

• RQ1 将对比学习、掩码自编码和去噪相结合，是否能提升下游视觉任务的性能？
• RQ2 在两种视图中对 50% 的图像块进行对称掩码，是否能在不损失性能的前提下提升效率？
• RQ3 对比学习（样本间关系）与自编码（样本内相关性）所具有的互补归纳偏置，如何影响表征质量？
• RQ4 去噪目标是否能通过捕捉标准重建所遗漏的高频成分，增强特征学习？
• RQ5 在大规模未标注数据集（如 JFT-300M）上，该联合方法是否比单一组件具有更好的可扩展性？

主要发现

• 在 JFT-300M 上预训练后，CAN 在 ImageNet 上的线性探测评估中达到 75.4% 的 top-1 准确率，优于 SimCLR（73.4%）和 MAE（64.1%）。
• 对于在 ImageNet 上微调的 ViT-L 模型，CAN 达到 86.1% 的 top-1 准确率，优于 SimCLR（85.5%）和 MAE（85.4%）。
• 与 SimCLR 相比，CAN 在 ViT-L 模型上将 FLOPs 降低了 70%，展现出显著的计算效率。
• CAN 在 7 个分布偏移基准测试中表现出更优的鲁棒性，在 IN-v2、IN-Adversarial、ObjectNet 等挑战性数据集上均优于 SimCLR 和 MAE。
• 对比损失与重建损失的联合训练使两种目标的训练损失均低于单独训练时的损失，证实了其互补性。
• 最优性能在掩码率为 50%、对比损失权重为 0.03、噪声水平为 σ_max = 0.05 时达到，且在不同去噪损失权重范围内性能保持稳定。