[论文解读] MaPLe: Multi-modal Prompt Learning

Muhammad Uzair Khattak, Hanoona Rasheed+3 more|arXiv (Cornell University)|Oct 6, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

MaPLe 提出了一种多模态提示学习方法，通过耦合的深层上下文提示，联合微调 CLIP 中的视觉与语言分支，实现了在新类别、跨数据集迁移和域移位场景下的优越泛化能力。其在 11 个图像识别数据集上，新类别准确率提升 3.45%，调和平均准确率提升 2.72%，同时保持极低的参数与 FLOP 开销。

ABSTRACT

Pre-trained vision-language (V-L) models such as CLIP have shown excellent generalization ability to downstream tasks. However, they are sensitive to the choice of input text prompts and require careful selection of prompt templates to perform well. Inspired by the Natural Language Processing (NLP) literature, recent CLIP adaptation approaches learn prompts as the textual inputs to fine-tune CLIP for downstream tasks. We note that using prompting to adapt representations in a single branch of CLIP (language or vision) is sub-optimal since it does not allow the flexibility to dynamically adjust both representation spaces on a downstream task. In this work, we propose Multi-modal Prompt Learning (MaPLe) for both vision and language branches to improve alignment between the vision and language representations. Our design promotes strong coupling between the vision-language prompts to ensure mutual synergy and discourages learning independent uni-modal solutions. Further, we learn separate prompts across different early stages to progressively model the stage-wise feature relationships to allow rich context learning. We evaluate the effectiveness of our approach on three representative tasks of generalization to novel classes, new target datasets and unseen domain shifts. Compared with the state-of-the-art method Co-CoOp, MaPLe exhibits favorable performance and achieves an absolute gain of 3.45% on novel classes and 2.72% on overall harmonic-mean, averaged over 11 diverse image recognition datasets. Our code and pre-trained models are available at https://github.com/muzairkhattak/multimodal-prompt-learning.

研究动机与目标

• 为解决 CLIP 中单模态提示的局限性（仅微调视觉或语言分支），提出一种完整的多模态提示策略。
• 通过共享函数显式耦合视觉与语言模态的提示，提升视觉与语言表征之间的对齐。
• 通过在视觉与语言分支的多个 Transformer 块中分别学习提示，实现渐进式、分阶段的适应。
• 在不增加模型复杂度或推理成本的前提下，增强对新类别、未见域和跨数据集迁移的泛化能力。
• 与现有提示学习方法相比，实现高性能的同时保持极低的参数与 FLOP 开销。

提出的方法

• MaPLe 引入了分支感知的分层提示，分别在视觉与语言 Transformer 分支中学习上下文提示，同时保持 CLIP 的其余部分冻结。
• 采用 V-L 耦合函数 $\mathcal{F}$，使视觉提示依赖于其对应的语言提示，以实现梯度的相互传播与协同优化。
• 在多个 Transformer 块中独立学习提示，以渐进式建模分阶段的特征关系，增强上下文理解。
• 在两个分支的每一层使用可学习的提示嵌入，通过层间共享耦合机制保持一致性并减少冗余。
• 框架采用端到端训练，冻结 CLIP 编码器，利用学习到的提示优化图像与文本嵌入之间的对比损失。
• 通过仅增加 2.85% 的参数量，且相比 Co-CoOp 的额外 FLOPs 低于 0.1%，保持了高效性。

Figure 1 : Comparison of MaPLe with standard prompt learning methods. (a) Existing methods adopt uni-modal prompting techniques to fine-tune CLIP representations as prompts are learned only in a single branch of CLIP (language or vision). (b) MaPLe introduces branch-aware hierarchical prompts that a

实验结果

研究问题

• RQ1 在 CLIP 的视觉与语言分支中联合使用提示，是否能实现比单模态提示更优的对齐效果与泛化能力？
• RQ2 通过共享函数耦合视觉与语言提示，对多样化下游任务的性能与鲁棒性有何影响？
• RQ3 与浅层提示相比，跨多个 Transformer 块学习深层提示是否能提升特征表示与泛化能力？
• RQ4 在域移位、跨数据集迁移及少样本新类别泛化场景下，MaPLe 相较于 SOTA 方法表现如何？
• RQ5 多模态提示学习中，性能提升与计算效率之间的权衡关系如何？

主要发现

• MaPLe 在 11 个多样化图像识别数据集上，新类别准确率绝对提升 3.45%，调和平均准确率提升 2.72%，优于 Co-CoOp。
• 在域泛化基准上，MaPLe 相较 Co-CoOp 将调和平均准确率提升 1.75%，并在所有目标数据集上均表现出一致增益。
• 该方法保持了高推理速度，批量大小为 16 时达到 239 FPS，显著优于 Co-CoOp 的恒定帧率与更慢的推理速度。
• 消融实验表明，提示深度为 9 时性能最优，更长的提示长度因过拟合而损害新类别泛化能力。
• MaPLe†（轻量化变体，采用共享耦合函数）仅增加 0.33% 参数量，即实现 78.11% 的调和平均准确率，证明性能增益并非仅源于参数量增加。
• 尽管使用多模态提示，MaPLe 相较 CoOp 仅增加 0.1% 的 FLOPs，展现出极高的计算效率。

Figure 2 : Overview of our proposed MaPLe ( M ulti-mod a l P rompt Le arning) framework for prompt learning in V-L models. MaPLe tunes both vision and language branches where only the context prompts are learned, while the rest of the model is frozen. MaPLe conditions the vision prompts on language