[论文解读] Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation

Hao Chen, Han, Xintong+2 more|arXiv (Cornell University)|Sep 30, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出多提示对齐（MPA），一种新颖的多源无监督域自适应框架，通过可学习提示在多个源域与目标域之间对齐特征。通过训练领域特定提示，利用自编码对提示去噪，并通过L1对齐损失强制预测一致性，MPA在参数量显著减少的情况下实现了最先进性能，在DomainNet上达到54.1%的平均准确率。

ABSTRACT

Most existing methods for unsupervised domain adaptation (UDA) rely on a shared network to extract domain-invariant features. However, when facing multiple source domains, optimizing such a network involves updating the parameters of the entire network, making it both computationally expensive and challenging, particularly when coupled with min-max objectives. Inspired by recent advances in prompt learning that adapts high-capacity models for downstream tasks in a computationally economic way, we introduce Multi-Prompt Alignment (MPA), a simple yet efficient framework for multi-source UDA. Given a source and target domain pair, MPA first trains an individual prompt to minimize the domain gap through a contrastive loss. Then, MPA denoises the learned prompts through an auto-encoding process and aligns them by maximizing the agreement of all the reconstructed prompts. Moreover, we show that the resulting subspace acquired from the auto-encoding process can easily generalize to a streamlined set of target domains, making our method more efficient for practical usage. Extensive experiments show that MPA achieves state-of-the-art results on three popular datasets with an impressive average accuracy of 54.1% on DomainNet.

研究动机与目标

• 解决无监督域自适应（UDA）中多个源域之间的域偏移问题。
• 通过用可学习提示替代共享特征提取器，降低多源UDA中的计算成本和优化难度。
• 通过提示去噪和预测一致性，提升在多样化源域间的泛化能力和对齐效果。
• 通过简化的潜在子空间微调（LST）策略，实现在新目标域上的高效适应。

提出的方法

• 针对每个源-目标域对，MPA使用对比损失训练专用提示，以最小化域间差异。
• 通过简单的自编码器对学习到的提示进行重建，以去除领域特异性噪声，提取共享的、去噪的嵌入空间。
• 应用L1损失对所有重建后的提示进行预测对齐，强制在目标图像上保持一致的分类结果。
• 自编码器生成的低维潜在空间使通过潜在子空间微调（LST）实现对新目标域的高效适应成为可能。
• 该方法使用CLIP作为固定主干网络，仅微调提示参数，从而显著减少参数数量和计算成本。
• 使用类别特定和领域特定的提示标记，以增强表示能力与对齐精度。

实验结果

研究问题

• RQ1 提示学习能否有效扩展到多源UDA，从而相比共享特征提取器降低计算成本？
• RQ2 如何对来自多个源域的提示进行去噪与对齐，以形成稳健的、领域不变的表示？
• RQ3 所学习的提示子空间能否在无需微调的情况下高效泛化至新目标域？
• RQ4 提示设计、去噪过程与对齐损失对多源UDA整体性能有何影响？

主要发现

• MPA在具有挑战性的DomainNet数据集上实现了多源UDA的新SOTA平均准确率54.1%。
• 该方法大幅超越所有现有基线模型，当移除L1对齐损失时，Clipart域的准确率显著下降1.5%。
• 消融研究证实，通过自编码进行提示去噪可提升性能，完整MPA设置（包含L1损失与自编码）达到最高准确率。
• 最优超参数为τ=0.4，M₁=M₂=16，α=500，可在性能与效率间实现良好平衡。
• 潜在子空间微调（LST）策略使对精简目标域集合的适应过程高效，且额外调参极少。
• 完整MPA框架的可训练参数数量约为最先进方法的三分之一，同时实现了更优的准确率。