[论文解读] CAE v2: Context Autoencoder with CLIP Target

Xinyu Zhang, Jiahui Chen+11 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用 8

一句话总结

CAE v2 提出了一种上下文自编码器，采用 CLIP 目标监督，通过在可见 patch 上进行训练而非掩码 patch，并使用与模型尺寸相关的掩码比率，在自监督视觉预训练中实现了最先进性能。在 ViT-Large 上进行 300 个周期的预训练后，其在 ImageNet-1K 上的线性探测 top-1 准确率达到 81.7%，在 ADE20K 语义分割任务上达到 55.9% 的 mIoU。

ABSTRACT

Masked image modeling (MIM) learns visual representation by masking and reconstructing image patches. Applying the reconstruction supervision on the CLIP representation has been proven effective for MIM. However, it is still under-explored how CLIP supervision in MIM influences performance. To investigate strategies for refining the CLIP-targeted MIM, we study two critical elements in MIM, i.e., the supervision position and the mask ratio, and reveal two interesting perspectives, relying on our developed simple pipeline, context autodecoder with CLIP target (CAE v2). Firstly, we observe that the supervision on visible patches achieves remarkable performance, even better than that on masked patches, where the latter is the standard format in the existing MIM methods. Secondly, the optimal mask ratio positively correlates to the model size. That is to say, the smaller the model, the lower the mask ratio needs to be. Driven by these two discoveries, our simple and concise approach CAE v2 achieves superior performance on a series of downstream tasks. For example, a vanilla ViT-Large model achieves 81.7% and 86.7% top-1 accuracy on linear probing and fine-tuning on ImageNet-1K, and 55.9% mIoU on semantic segmentation on ADE20K with the pre-training for 300 epochs. We hope our findings can be helpful guidelines for the pre-training in the MIM area, especially for the small-scale models.

研究动机与目标

• 探究在使用 CLIP 作为监督目标时，监督位置和掩码比率对掩码图像建模（MIM）的影响。
• 开发一种简单但高效的 MIM 框架，在 CLIP 目标范式下超越现有方法。
• 为预训练提供实用指导，尤其针对小规模模型。
• 揭示特征蒸馏对可见 patch 的影响，以及最优掩码比率与模型尺寸之间的关系。

提出的方法

• CAE v2 使用视觉 Transformer 编码器处理经过掩码比率 γ 处理的可见图像 patch，该比率与模型尺寸正相关。
• 解码器从编码后的可见特征和一个学习得到的掩码 token 中重建被掩码的 patch。
• 模型为可见和被掩码的 patch 预测潜在表示，并将其投影到共享空间。
• 使用原始图像的 CLIP 特征作为监督目标，按 patch 位置划分为可见和被掩码两部分。
• 主要训练损失仅应用于可见 patch 的预测及其对应的 CLIP 目标，而对被掩码 patch 的监督为可选。
• 该框架通过在可见 patch 预测上采用类似对比学习的目标进行端到端训练。

实验结果

研究问题

• RQ1 在 CLIP 目标范式下的 MIM 中，对可见 patch 而非被掩码 patch 进行监督是否能提升性能？
• RQ2 在 CLIP 目标范式下的 MIM 中，最优掩码比率如何随模型尺寸变化？
• RQ3 是否可以通过仅对可见 patch 进行监督并自适应调整掩码比率，构建一个简单但性能优越的 MIM 流程？
• RQ4 在 CLIP 目标范式下的 MIM 中，可见 patch 与被掩码 patch 监督的相对贡献如何？

主要发现

• 仅使用 CLIP 特征监督可见 patch 的性能优于仅监督被掩码 patch，表明可见 patch 能有效从 CLIP 中蒸馏语义知识。
• 同时对可见和被掩码 patch 进行监督仅带来微小性能提升，表明可见 patch 监督已足够且极为高效。
• 最优掩码比率与模型尺寸正相关：小模型在较低掩码比率下表现最佳，而大模型则从较高掩码比率中受益。
• 在使用 ViT-Large 主干网络并经过 300 个预训练周期后，CAE v2 在 ImageNet-1K 上的线性探测 top-1 准确率达到 81.7%，微调设置下达到 86.7%。
• 在 ADE20K 语义分割任务上，CAE v2 使用相同的 ViT-Large 模型和 300 个周期的预训练，达到 55.9% 的 mIoU。
• 在 COCO 目标检测和实例分割基准上，该方法在更少的预训练周期下，性能优于 iBOT 和 CAE 等先前的 SOTA 方法。