[论文解读] Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models

Xinyang Liu, Dongsheng Wang+6 more|arXiv (Cornell University)|Mar 16, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种名为Patch-Prompt Aligned Bayesian Prompt Tuning（PBPrompt）的方法，通过变分推断生成与标签相关的随机提示，并利用最优传输（optimal transport）优化这些提示，以实现文本标记与视觉区块之间的对齐。该方法在15个数据集上提升了零样本泛化能力和鲁棒性，在少样本、跨数据集和领域泛化设置下优于先前方法，其优势源于不确定性建模与视觉引导的语义对齐。

ABSTRACT

For downstream applications of vision-language pre-trained models, there has been significant interest in constructing effective prompts. Existing works on prompt engineering, which either require laborious manual designs or optimize the prompt tuning as a point estimation problem, may fail to describe diverse characteristics of categories and limit their applications. We introduce a Bayesian probabilistic resolution to prompt tuning, where the label-specific stochastic prompts are generated hierarchically by first sampling a latent vector from an underlying distribution and then employing a lightweight generative model. Importantly, we semantically regularize the tuning process by minimizing the statistical distance between the visual patches and linguistic prompts, which pushes the stochastic label representations to faithfully capture diverse visual concepts, instead of overfitting the training categories. We evaluate the effectiveness of our approach on four tasks: few-shot image recognition, base-to-new generalization, dataset transfer learning, and domain shifts. Extensive results over 15 datasets show promising transferability and generalization performance of our proposed model, both quantitatively and qualitatively.

研究动机与目标

• 为解决确定性提示调优在捕捉多样化视觉概念以及泛化到未见类别方面的局限性。
• 通过贝叶斯框架对提示生成中的不确定性进行建模，以提升零样本和少样本性能。
• 通过将文本提示标记与图像区块进行最优传输对齐，利用视觉知识对提示学习进行正则化。
• 通过引入实例条件提示生成，提升在分布偏移下的泛化能力。
• 提供一种灵活且可扩展的提示调优框架，整合标签语义与视觉特征。

提出的方法

• 为每个类别在嵌入空间中学习一个变分后验分布，从而实现对表示类别特定不确定性的潜在向量的随机采样。
• 通过一个轻量级的确定性生成网络将采样的潜在向量映射为前缀嵌入，利用随机输入生成提示的分布。
• 使用最优传输（OT）将提示标记的分布与同类别图像区块的分布对齐，最小化模态间的OT代价。
• 目标函数结合证据下界（ELBO）与OT正则化项，通过随机梯度下降进行优化。
• 将框架扩展为条件变体（CPBPrompt），利用图像特征生成实例条件提示，从而提升泛化能力。
• 引入标签特定先验，将语义信息融入先验分布，以改善归纳偏置。

Figure 1: The core idea that multiple prompts are generated from the label-specific distributions.

实验结果

研究问题

• RQ1 与确定性方法相比，基于随机提示生成的贝叶斯提示调优是否能提升视觉-语言模型的泛化能力？
• RQ2 基于最优传输的视觉区块与文本提示之间的对齐是否能提升提示质量与模型鲁棒性？
• RQ3 将标签语义信息融入先验分布对提示学习性能有何影响？
• RQ4 实例条件提示生成是否能进一步提升零样本和少样本泛化能力？
• RQ5 所提出方法在跨数据集以及分布偏移下的泛化能力究竟有多强？

主要发现

• 在跨数据集迁移学习中，PBPrompt在10个目标数据集上的平均准确率比CoOp高出2.0%，证明了其强大的跨数据集迁移能力。
• 在细粒度数据集（如FGVCAircraft、OxfordPets和Flowers102）上，PBPrompt表现出显著的性能差距，表明其在捕捉判别性特征方面具有强大能力。
• 在领域泛化设置中，PBPrompt在所有目标领域（ImageNetV2、ImageNet-Sketch、ImageNet-A、ImageNet-R）均取得最高准确率，尽管在源域略有下降，但仍优于基线方法。
• 消融实验表明，使用标签特定先验在Flowers102的'New'数据集上可将性能提升最高达+3.61%，验证了其有效性。
• OT正则化在所有设置下均持续提升性能，分别在Caltech101的H上提升+0.63%，在Flowers102的H上提升+2.81%。
• CPBPrompt通过生成实例条件提示，优于PBPrompt，证实了图像引导的提示调优能有效增强泛化能力。

Figure 2: Overview of the proposed PBPrompt. PBPrompt generates the stochastic prompts by first sampling a label-specific vector $\bm{r}_{c}$ and then employing a single-layer self-attention network. OT distance is performed between the prefix tokens $\bm{p}_{c}$ and image patches to regularize the