[论文解读] Masked Image Modeling with Denoising Contrast

Kun Yi, Yixiao Ge+6 more|arXiv (Cornell University)|May 19, 2022

Image and Signal Denoising Methods被引用 8

一句话总结

该论文提出 ConMIM，一种纯掩码图像建模（MIM）方法，通过使用去噪对比学习替代传统的图像标记化器，并以图像内补丁间对比损失作为唯一目标。通过引入非对称图像扰动和模型训练进度率，ConMIM 在无需额外数据或预训练阶段的情况下实现了最先进性能——在 ImageNet-1K 上使用 ViT-Small 达到 83.9% 的 top-1 准确率，使用 ViT-Base 达到 85.3%。

ABSTRACT

Since the development of self-supervised visual representation learning from contrastive learning to masked image modeling (MIM), there is no significant difference in essence, that is, how to design proper pretext tasks for vision dictionary look-up. MIM recently dominates this line of research with state-of-the-art performance on vision Transformers (ViTs), where the core is to enhance the patch-level visual context capturing of the network via denoising auto-encoding mechanism. Rather than tailoring image tokenizers with extra training stages as in previous works, we unleash the great potential of contrastive learning on denoising auto-encoding and introduce a pure MIM method, ConMIM, to produce simple intra-image inter-patch contrastive constraints as the sole learning objectives for masked patch prediction. We further strengthen the denoising mechanism with asymmetric designs, including image perturbations and model progress rates, to improve the network pre-training. ConMIM-pretrained models with various scales achieve competitive results on downstream image classification, semantic segmentation, object detection, and instance segmentation tasks, e.g., on ImageNet-1K classification, we achieve 83.9% top-1 accuracy with ViT-Small and 85.3% with ViT-Base without extra data for pre-training.

研究动机与目标

• 通过将对比学习直接整合到预训练目标中，消除掩码图像建模中对独立图像标记化器的需求。
• 通过非对称训练设计提升视觉 Transformer 的去噪自编码能力。
• 证明当在 MIM 框架中被恰当重构时，对比学习可超越现有 MIM 方法，且无需离散化标记。
• 在小规模视觉 Transformer 和大规模未清洗数据集（如 YFCC15M）上验证 ConMIM 的有效性。
• 在近期 MIM 主导的背景下，重新评估对比学习在自监督视觉表征学习中的作用。

提出的方法

• ConMIM 将掩码补丁预测建模为去噪对比学习任务，利用完整输入图像生成动态键用于对比损失计算。
• 模型采用单视图、双次前向传播：一次用于带掩码补丁的损坏输入，一次用于完整输入以生成正样本键。
• 正样本键为完整输入中相同空间位置的补丁表示；负样本键为同一图像中其他空间位置的补丁表示。
• 应用非对称图像扰动：对完整输入使用强增强，对损坏输入使用弱增强，以提升鲁棒性。
• 采用非对称模型训练进度率：缓慢更新的动量编码器处理完整输入，以生成稳定且语义一致的键表示。
• 对比损失在掩码补丁的预测表示与对应正样本键之间计算，以鼓励细粒度视觉上下文学习。

实验结果

研究问题

• RQ1 是否可以在不使用离散图像标记化器的前提下，有效复兴对比学习在纯掩码图像建模框架中的作用？
• RQ2 非对称图像扰动和模型训练进度率如何影响 MIM 预训练的性能与泛化能力？
• RQ3 ConMIM 是否在小规模视觉 Transformer 上优于现有 MIM 方法（如 MAE 和 iBOT）？
• RQ4 ConMIM 是否能有效扩展到大规模未清洗数据集（如 YFCC15M），且无需额外监督？
• RQ5 在 MIM 中，对比学习与自编码的相对贡献是什么？它们应如何最优结合？

主要发现

• ConMIM 仅使用 ViT-Small 和 ImageNet-1K 数据，在 ImageNet-1K 上实现了 83.9% 的 top-1 准确率，优于 BEiT 及其他 MIM 方法，且无需额外数据或标记化器。
• 使用 ViT-Base 时，ConMIM 在 ImageNet-1K 上达到 85.3% 的 top-1 准确率，表明其在更大架构上的强大性能。
• 消融实验表明，若移除非对称模型训练进度率，准确率将下降 1.98%，凸显其在防止信息泄露中的关键作用。
• 非对称图像扰动可提升性能：在完整输入上使用强增强、在损坏输入上使用弱增强的设置优于对称或相反设置。
• 在 YFCC15M 上，ConMIM 使用 ViT-B/16 达到 83.3% 的 top-1 准确率，优于 SLIP（82.9%）和 MAE（83.0%），证实其在大规模数据上的可扩展性。
• ConMIM 每轮训练时间仅为 BEiT 的 1.05 倍（BEiT 为 1.0 倍），仅因两次前向传播带来轻微开销，因此在实际部署中高效且实用。