[论文解读] CLIP Itself is a Strong Fine-tuner: Achieving 85.7% and 88.0% Top-1 Accuracy with ViT-B and ViT-L on ImageNet

Xiaoyi Dong, Jianmin Bao+8 more|arXiv (Cornell University)|Dec 12, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本论文表明，当使用经过精心优化的超参数策略进行微调时，CLIP 在 ImageNet-1K 上实现了最先进性能，分别在 ViT-Base 和 ViT-Large 主干网络上达到了 85.7% 和 88.0% 的 top-1 准确率，挑战了 CLIP 不适合微调的既有观念，并确立了其作为视觉表征学习的强大基线模型。

ABSTRACT

Recent studies have shown that CLIP has achieved remarkable success in performing zero-shot inference while its fine-tuning performance is not satisfactory. In this paper, we identify that fine-tuning performance is significantly impacted by hyper-parameter choices. We examine various key hyper-parameters and empirically evaluate their impact in fine-tuning CLIP for classification tasks through a comprehensive study. We find that the fine-tuning performance of CLIP is substantially underestimated. Equipped with hyper-parameter refinement, we demonstrate CLIP itself is better or at least competitive in fine-tuning compared with large-scale supervised pre-training approaches or latest works that use CLIP as prediction targets in Masked Image Modeling. Specifically, CLIP ViT-Base/16 and CLIP ViT-Large/14 can achieve 85.7%,88.0% finetuning Top-1 accuracy on the ImageNet-1K dataset . These observations challenge the conventional conclusion that CLIP is not suitable for fine-tuning, and motivate us to rethink recently proposed improvements based on CLIP. We will release our code publicly at \url{https://github.com/LightDXY/FT-CLIP}.

研究动机与目标

• 探究 CLIP 的微调性能是否因超参数选择不当而被低估。
• 识别并验证一组全面的超参数配置，以最大化 CLIP 在 ImageNet-1K 上的微调准确率。
• 确立 CLIP 本身作为监督预训练或 CLIP蒸馏方法在微调设置下的强大且具有竞争力的替代方案。
• 为未来基于 CLIP 的视觉模型研究提供可复现且高性能的基线。

提出的方法

• 使用经过优化的超参数的修改版训练协议，在 ImageNet-1K 上微调 CLIP ViT-Base/16 和 ViT-Large/14。
• 采用逐层线性缩放策略调整初始学习率，其中较低层以更低的学习率进行训练。
• 采用余弦学习率衰减调度策略，包含 20 个预热训练周期，基础初始学习率为 1e-3。
• 应用强数据增强技术，包括 RandAug（m9, n2, mstd0.5）、mixup（0.8）、cutmix（1.0）和随机擦除（0.25）。
• 引入标签平滑（0.1）和权重衰减（0.05）作为正则化技术。
• 评估了相对位置编码（RPE）和层缩放（LS）等架构修改，发现性能提升微乎其微。

实验结果

研究问题

• RQ1 当超参数被仔细调优时，CLIP 是否能在 ImageNet-1K 上实现最先进微调性能？
• RQ2 哪些具体的超参数配置能显著提升 CLIP 的微调准确率？
• RQ3 直接微调的 CLIP 性能与使用 CLIP 作为掩码图像建模中蒸馏目标的方法相比如何？
• RQ4 架构修改（如 RPE、LS）是否能提升 CLIP 的微调性能？
• RQ5 正则化技术（如丢弃路径、标签平滑和权重衰减）对 CLIP 微调有何影响？

主要发现

• 在输入分辨率为 224×224 时，CLIP ViT-Base/16 在 ImageNet-1K 上实现了 85.7% 的 top-1 准确率，比最先进的 CLIP 目标 MIM 方法高出 0.2%。
• 在 384×384 输入分辨率下，CLIP ViT-Base 实现了 86.6% 的 top-1 准确率，与在 JFT-300M 或 JFT-3B 上预训练的模型性能相当。
• 在 224×224 分辨率下，CLIP ViT-Large/14 实现了 88.0% 的 top-1 准确率，在 336×336 分辨率下达到 88.3%，展现出在大模型上的强劲性能。
• 逐层学习率策略显著提升了性能，其中一半层被冻结时准确率达到 85.6%。
• 标签平滑（0.1）至关重要——若移除则导致过拟合并使 top-1 准确率下降至 85.3%。
• 在微调中使用丢弃路径正则化会降低性能，可能是因为其在预训练阶段未被使用。