[论文解读] Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization

Xin Zhang, Yusuke Iwasawa+2 more|arXiv (Cornell University)|Nov 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 4

一句话总结

本文提出了一种轻量级微调方法——缓解放大提示（Amortized Prompt, AP），用于在领域泛化（DG）任务中对CLIP进行优化，该方法在推理时生成领域特定的提示。通过在不更新CLIP参数的前提下应用提示调优，AP在标准DG基准上将准确率从71.3%提升至79.3%，在计算量极低的情况下实现了显著的性能提升。

ABSTRACT

Domain generalization (DG) is a difficult transfer learning problem aiming to learn a generalizable model to unseen domains. Recent massive pre-trained models such as CLIP and GPT-3, i.e. foundation models (FMs), have been shown to be robust to many distribution shifts and therefore should lead to substantial improvements in DG. In this work, we study generic ways to adopt CLIP for DG problems in image classification, where we evaluate on naive zero-shot learning and full DG learning settings. For the latter, we propose AP (Amortized Prompt), as a novel approach for domain inference in the form of prompt generation. Using several standard datasets on domain generalization benchmark, namely PACS, VLCS, OfficeHome, and TerraIncognita, CLIP provides comparable performance without fine-tuning any parameters, suggesting the applicability and importance of FM in DG. In addition, we show that combining domain prompt inference with CLIP enables AP to outperform strong baselines and the naive CLIP baselines by a large margin, raising accuracy from 71.3\% to 79.3\%. We hope the simplicity and success of our approach emphasizes the importance of and leads to wider more adoption and analysis of foundation models in the field of domain generalization.

研究动机与目标

• 研究像CLIP这样的基础模型在不进行完整微调的情况下在领域泛化（DG）中所具备的潜力。
• 解决在分布偏移条件下将CLIP适配到未见领域进行图像分类的挑战。
• 通过提示工程开发一种参数高效的领域不变表示学习方法。
• 通过生成领域特定提示，提升在DG设置下朴素零样本CLIP的性能。

提出的方法

• 提出缓解放大提示（AP）方法，该方法在推理时生成领域特定提示，且不更新CLIP的参数。
• 使用提示编码器在推理过程中为每个领域预测最优文本提示，从而实现领域泛化。
• 以轻量级、参数高效的方式应用提示调优，避免对CLIP的视觉编码器或文本编码器进行微调。
• 在源领域上训练提示生成器，使其在推理时能泛化到未见领域。
• 采用可微的提示生成机制，该机制在领域间进行缓解放大，从而降低每次推理的计算成本。
• 将生成的提示与CLIP的零样本分类头结合，实现在未见领域的端到端推理。

实验结果

研究问题

• RQ1 基础模型如CLIP是否能在不进行微调的情况下实现领域泛化中的优异性能？
• RQ2 基于提示的适应方法在提升CLIP在未见领域泛化能力方面有多高效？
• RQ3 一种轻量级、参数高效的提示生成方法是否能超越强基线模型在DG任务中的表现？
• RQ4 领域特定的提示调优对零样本CLIP在DG基准上的性能有何影响？

主要发现

• CLIP在不更新任何参数的情况下，在领域泛化基准上实现了具有竞争力的性能（71.3%），表明其具备强大的零样本鲁棒性。
• 所提出的缓解放大提示（AP）方法在标准DG基准上将准确率提升至79.3%，显著优于朴素CLIP和强基线模型。
• AP通过极低的计算开销实现这一性能提升，因为其并未对CLIP的参数进行微调。
• 该方法能有效泛化到未见领域，展现出强大的领域泛化能力。
• AP的成功凸显了在结合高效提示工程后，基础模型在DG任务中的巨大潜力。
• 结果表明，基于提示的适应是一种有前景且高效的全微调替代方案，适用于领域泛化任务。