[论文解读] MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning

Xin Yi, Junlong Du+3 more|arXiv (Cornell University)|Dec 14, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 MmAP，一种基于 CLIP 的跨域多任务学习多模态对齐提示方法，通过克罗内克积联合微调文本和视觉提示以保持模态对齐。该方法仅使用约 0.09% 的全微调参数量，在 Office-Home 和 miniDomainNet 上实现了最先进性能，在所有 shot 设置下均优于现有提示微调基线。

ABSTRACT

Multi-Task Learning (MTL) is designed to train multiple correlated tasks simultaneously, thereby enhancing the performance of individual tasks. Typically, a multi-task network structure consists of a shared backbone and task-specific decoders. However, the complexity of the decoders increases with the number of tasks. To tackle this challenge, we integrate the decoder-free vision-language model CLIP, which exhibits robust zero-shot generalization capability. Recently, parameter-efficient transfer learning methods have been extensively explored with CLIP for adapting to downstream tasks, where prompt tuning showcases strong potential. Nevertheless, these methods solely fine-tune a single modality (text or visual), disrupting the modality structure of CLIP. In this paper, we first propose Multi-modal Alignment Prompt (MmAP) for CLIP, which aligns text and visual modalities during fine-tuning process. Building upon MmAP, we develop an innovative multi-task prompt learning framework. On the one hand, to maximize the complementarity of tasks with high similarity, we utilize a gradient-driven task grouping method that partitions tasks into several disjoint groups and assign a group-shared MmAP to each group. On the other hand, to preserve the unique characteristics of each task, we assign an task-specific MmAP to each task. Comprehensive experiments on two large multi-task learning datasets demonstrate that our method achieves significant performance improvements compared to full fine-tuning while only utilizing approximately 0.09% of trainable parameters.

研究动机与目标

• 解决标准多任务学习框架中因任务特定解码器导致的参数爆炸问题。
• 克服单一模态提示微调（如仅文本或仅视觉）破坏 CLIP 固有模态对齐的局限性。
• 通过在提示微调过程中保持模态对齐，实现 CLIP 的高效、参数高效的多任务适应。
• 设计一种多任务提示学习框架，通过分组相似任务实现互补性，同时保留任务特定特征。
• 在跨域多任务基准上实现强大泛化能力，同时可训练参数极少。

提出的方法

• 提出 MmAP，一种多模态对齐提示方法，通过克罗内克积从共享源提示生成文本和视觉提示，以在微调过程中强制实现跨模态对齐。
• 引入基于梯度的任务分组策略，根据梯度相似性聚类任务，形成互不重叠的组以实现共享 MmAP 微调。
• 为每个独立任务分配特定的 MmAP，以保留其独特的表征特征。
• 构建结合组共享与任务特定 MmAP 的多任务提示学习框架，以平衡知识共享与任务独立性。
• 利用 CLIP 的预训练视觉-语言编码器，无需额外解码器，从而实现零样本泛化与参数效率。
• 仅训练提示参数（不更新主干权重），将可训练参数减少至全微调的约 0.09%。

实验结果

研究问题

• RQ1 在 CLIP 中联合微调文本和视觉提示是否能比单模态提示微调更好地保持模态对齐？
• RQ2 与标准提示微调相比，多模态提示对齐在跨域多任务学习中的性能表现如何？
• RQ3 基于梯度的任务分组是否能通过增强相似任务间的互补性来提升性能？
• RQ4 结合组共享与任务特定提示是否优于仅使用其中一种类型？
• RQ5 参数高效的提示微调方法在可训练参数极少的情况下，能在多大程度上实现接近全微调的性能？

主要发现

• MmAP 在多模态提示微调中相比 MLP 基线提升 0.54%，证明了模态间信息共享的优越性。
• 在 Office-Home 数据集上，MmAP 在 20% shot 设置下达到 87.77% 的准确率，优于所有基线方法，包括 CoOp-MT、VPT-MT 和 MaPLe-MT。
• 基于梯度分组的多任务提示学习框架在 10% 和 20% 数据设置下，分别比随机分组提升 0.68% 和 0.85%。
• 在 1-shot 设置下，所有方法在 Art 和 Real World 任务上均表现低于零样本 CLIP，但 MmAP 在 3+ shot 时表现出最大的性能差距缩小，表明其具有强大的泛化能力。
• MmAP 将可训练参数减少至约 0.13M（相比 MLP 基线的 3.96M），实现约 0.09% 的全微调参数量，同时保持高性能。
• 消融实验证实，组共享与任务特定 MmAP 组件均不可或缺，完整框架优于所有消融变体。