[论文解读] Multitask Vision-Language Prompt Tuning

Sheng Shen, Shijia Yang+5 more|arXiv (Cornell University)|Nov 21, 2022

Multimodal Machine Learning Applications被引用 13

一句话总结

本文提出多任务视觉-语言提示微调（MVLPT），一种新颖的框架，通过多任务提示初始化和多任务提示微调共享跨任务知识，提升视觉-语言模型的少样本适应能力。通过在多个源任务上联合学习提示，并在目标任务微调过程中利用共享表征，MVLPT在20-shot Elevater基准上达到最先进性能，并在20个视觉任务上实现更强的跨任务泛化能力。

ABSTRACT

Prompt Tuning, conditioning on task-specific learned prompt vectors, has emerged as a data-efficient and parameter-efficient method for adapting large pretrained vision-language models to multiple downstream tasks. However, existing approaches usually consider learning prompt vectors for each task independently from scratch, thereby failing to exploit the rich shareable knowledge across different vision-language tasks. In this paper, we propose multitask vision-language prompt tuning (MVLPT), which incorporates cross-task knowledge into prompt tuning for vision-language models. Specifically, (i) we demonstrate the effectiveness of learning a single transferable prompt from multiple source tasks to initialize the prompt for each target task; (ii) we show many target tasks can benefit each other from sharing prompt vectors and thus can be jointly learned via multitask prompt tuning. We benchmark the proposed MVLPT using three representative prompt tuning methods, namely text prompt tuning, visual prompt tuning, and the unified vision-language prompt tuning. Results in 20 vision tasks demonstrate that the proposed approach outperforms all single-task baseline prompt tuning methods, setting the new state-of-the-art on the few-shot ELEVATER benchmarks and cross-task generalization benchmarks. To understand where the cross-task knowledge is most effective, we also conduct a large-scale study on task transferability with 20 vision tasks in 400 combinations for each prompt tuning method. It shows that the most performant MVLPT for each prompt tuning method prefers different task combinations and many tasks can benefit each other, depending on their visual similarity and label similarity. Code is available at https://github.com/sIncerass/MVLPT.

研究动机与目标

• 解决单任务提示微调在视觉-语言模型中的局限性，即无法利用跨任务共享知识。
• 通过在提示微调过程中利用跨任务知识，提升少样本适应的效率与性能。
• 开发统一框架，实现多任务间的提示初始化与微调，以增强泛化能力。
• 研究任务可迁移性，以识别适用于多任务提示微调的有效任务分组。
• 验证MVLPT在不同视觉-语言提示微调方法和模型规模下的可扩展性与有效性。

提出的方法

• 提出两阶段MVLPT框架：(1) 使用在多个源任务上训练的共享提示向量进行多任务提示初始化；(2) 通过将相关目标任务分组进行联合微调，实现多任务提示适应。
• 利用来自多样化源任务（如11个图像分类任务）的单一可迁移提示，初始化新目标任务的提示，提升初始化质量。
• 对分组的目标任务实施联合优化，实现在提示微调过程中的知识共享，提升泛化能力。
• 支持三种提示微调变体：文本提示微调（MCoOp）、视觉提示微调（MVPT）和统一视觉-语言提示微调（MUPT），均扩展了多任务学习机制。
• 通过消融研究分析上下文长度、源任务选择和模型缩放的影响，验证设计选择的合理性。
• 在20个视觉任务上进行大规模400种组合分析，评估任务可迁移性并指导有效任务分组。

Figure 1 : Our MVLPT approach (MCoOp, MVPT, MUPT) —which transfers a prompt learned from a mixture of source tasks (here, 11 Image Classification tasks) onto non-overlapped target tasks— outperforms vanilla CoOp [ 103 ] , VPT [ 36 ] on 12 Elevater tasks by a large margin, across all CLIP model sizes

实验结果

研究问题

• RQ1 来自多个源任务的跨任务知识是否能改善下游视觉-语言任务的提示初始化？
• RQ2 在相关目标任务上联合进行多任务提示微调，是否能带来比单任务微调更优的性能与泛化能力？
• RQ3 哪些视觉任务组合最受益于多任务提示微调？视觉或标签相似性等因子如何影响可迁移性？
• RQ4 MVLPT在不同视觉-语言模型架构（如ViT-B/32、ViT-B/16、ViT-L/14）和上下文长度下如何扩展？
• RQ5 源任务的多样性与组成对多任务提示初始化性能有何影响？

主要发现

• 在20-shot Elevater基准上，MVLPT优于所有单任务基线方法（CoOp、VPT、UPT），分别实现0.72%、1.73%和0.99%的性能提升，达到新的最先进水平。
• 在跨任务泛化基准上，MVLPT使CoOp、VPT和UPT分别提升1.73%、4.75%和4.53%，展现出强大的泛化能力。
• 使用11个源任务（包括ImageNet1K）进行多任务提示初始化表现最佳，MVPT和MUPT相较单任务基线有显著提升。
• 较长的上下文长度（16个token）有助于提升MVPT和MCoOp的性能，而MUPT则表现出轻微或负向影响，表明统一微调对上下文长度较为敏感。
• 最有效的MVLPT配置取决于任务相似性：视觉或标签相似度高的任务更受益于共享提示学习。
• 缩放实验表明，MVLPT在不同模型尺寸（ViT-B/32至ViT-L/14）下均保持优异性能，表明其具有广泛适用性和参数效率。

Figure 2 : An illustration of our multitask prompt initialization (left) and multitask prompt adaptation (right) approaches in MVLPT. Left : We learn single generic source prompt vector on various source tasks , which is then used to initialize the prompt for each single target task . Right : After