[论文解读] MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training

Pavan Kumar Anasosalu Vasu, Hadi Pouransari+3 more|arXiv (Cornell University)|Nov 28, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

MobileCLIP 引入了一类高效、面向移动设备优化的图文模型，通过多模态强化训练实现了更优的延迟-准确率权衡。通过使用强 CLIP 模型和字幕模型生成的合成字幕与嵌入，对 DataComp 数据集进行增强，该方法实现了轻量级视觉与文本编码器的更快、更准确的训练，从而在零样本任务上实现了最先进性能，推理速度比先前的 ViT-B/16 模型快达 2.3 倍。

ABSTRACT

Contrastive pretraining of image-text foundation models, such as CLIP, demonstrated excellent zero-shot performance and improved robustness on a wide range of downstream tasks. However, these models utilize large transformer-based encoders with significant memory and latency overhead which pose challenges for deployment on mobile devices. In this work, we introduce MobileCLIP -- a new family of efficient image-text models optimized for runtime performance along with a novel and efficient training approach, namely multi-modal reinforced training. The proposed training approach leverages knowledge transfer from an image captioning model and an ensemble of strong CLIP encoders to improve the accuracy of efficient models. Our approach avoids train-time compute overhead by storing the additional knowledge in a reinforced dataset. MobileCLIP sets a new state-of-the-art latency-accuracy tradeoff for zero-shot classification and retrieval tasks on several datasets. Our MobileCLIP-S2 variant is 2.3$ imes$ faster while more accurate compared to previous best CLIP model based on ViT-B/16. We further demonstrate the effectiveness of our multi-modal reinforced training by training a CLIP model based on ViT-B/16 image backbone and achieving +2.9% average performance improvement on 38 evaluation benchmarks compared to the previous best. Moreover, we show that the proposed approach achieves 10$ imes$-1000$ imes$ improved learning efficiency when compared with non-reinforced CLIP training. Code and models are available at https://github.com/apple/ml-mobileclip .

研究动机与目标

• 设计适用于移动部署、延迟低且模型尺寸小的高效图文编码器。
• 通过提升训练效率，克服标准对比学习训练小模型时准确率低下的挑战。
• 在不牺牲性能的前提下，降低高效模型开发的计算成本和训练时间。
• 提升模型在复杂视觉任务（如属性、关系和顺序预测）上的鲁棒性与组合理解能力。
• 通过架构创新和数据强化，建立面向移动设备的 CLIP 模型新基准。

提出的方法

• 该方法提出 DataCompDR，即在 DataComp 数据集基础上增强的版本，包含由强 ViT-B/16 模型集成生成的合成图像字幕和 CLIP 嵌入。
• 多模态强化训练利用预训练图像字幕模型和多个 CLIP 编码器的知识蒸馏，以提升学习效率。
• 训练过程使用强化数据集进行多次训练迭代，避免在知识注入过程中重复计算开销。
• MobileCLIP 模型采用混合 CNN-Transformer 架构，结合结构重参数化与卷积标记混合机制，以降低延迟和模型尺寸。
• 提出两种强化数据集变体：用于快速原型设计的 DataCompDR-12M 和用于高精度训练的 DataCompDR-1B。
• 该方法在相同计算预算下，相比标准 CLIP 训练，学习效率提升了 10 倍至 1000 倍。

实验结果

研究问题

• RQ1 知识增强数据集是否能显著提升小型、面向移动设备优化的图文模型的学习效率？
• RQ2 使用合成字幕和 CLIP 嵌入的多模态强化训练是否能提升轻量级模型的准确率并实现更快收敛？
• RQ3 MobileCLIP 是否能在保持低延迟和小模型尺寸的前提下，在零样本图像分类与检索任务上实现最先进性能？
• RQ4 在 ARO 等组合理解基准上，MobileCLIP 与强基线模型（如 ViT-B/16 和 SigLIP-B/16）相比表现如何？
• RQ5 数据增强在复杂、组合性视觉任务上的鲁棒性提升程度如何？

主要发现

• MobileCLIP-S2 的推理速度比之前最佳的基于 ViT-B/16 的 CLIP 模型快 2.3 倍，且准确率更高。
• 在 DataCompDR-1B 上训练的 MobileCLIP-B 在 38 项基准测试中的平均性能比之前最佳的 ViT-B/16 模型高出 2.9%。
• MobileCLIP-S0 的推理速度比标准 OpenAI ViT-B/16 CLIP 模型快 5 倍，模型尺寸小 3 倍，且平均准确率保持一致。
• 在 ARO 基准测试中，MobileCLIP-B 在 Visual Genome 关系和属性数据集上的准确率分别比 SigLIP-B/16 高 19.5% 和 12.4%。
• 与 SigLIP-B/16 相比，MobileCLIP-B 在 Flickr30k-Order 上的召回率@1 提升 69.7%，在 COCO-Order 上提升 50.3%。
• 在单个 8× A100 节点上，使用 DataCompDR-1B 训练约一天即可达到 61.7% 的零样本 ImageNet-1000 top-1 准确率，表明学习效率相比标准 CLIP 训练提升了 10 倍至 1000 倍。