[論文レビュー] Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models

Xinyang Liu, Dongsheng Wang+6 more|arXiv (Cornell University)|Mar 16, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、変分推論を用いてラベル固有の確率的プロンプトを生成し、最適輸送を用いてテキストトークンと視覚的パッチを整合化することで、プロンプトを最適化するPatch-Prompt Aligned Bayesian Prompt Tuning (PBPrompt) を提案する。この手法は不確実性モデリングとビジョンガイドドの意味的整合化を活用することで、15のデータセットにおいてゼロショット一般化とロバストネスを向上させ、ファイントショット、クロスデータセット、ドメイン一般化の設定で先行手法を上回る。

ABSTRACT

For downstream applications of vision-language pre-trained models, there has been significant interest in constructing effective prompts. Existing works on prompt engineering, which either require laborious manual designs or optimize the prompt tuning as a point estimation problem, may fail to describe diverse characteristics of categories and limit their applications. We introduce a Bayesian probabilistic resolution to prompt tuning, where the label-specific stochastic prompts are generated hierarchically by first sampling a latent vector from an underlying distribution and then employing a lightweight generative model. Importantly, we semantically regularize the tuning process by minimizing the statistical distance between the visual patches and linguistic prompts, which pushes the stochastic label representations to faithfully capture diverse visual concepts, instead of overfitting the training categories. We evaluate the effectiveness of our approach on four tasks: few-shot image recognition, base-to-new generalization, dataset transfer learning, and domain shifts. Extensive results over 15 datasets show promising transferability and generalization performance of our proposed model, both quantitatively and qualitatively.

研究の動機と目的

• 決定的プロンプトチューニングの限界、すなわち多様な視覚的コンセプトを捉えることの困難さや、未観測カテゴリへの一般化の難しさを是正すること。
• ベイジアンフレームワークによるプロンプト生成における不確実性をモデリングすることで、ゼロショットおよびファイントショット性能を向上させること。
• 最適輸送を用いてテキストプロンプトトークンと画像パッチを整合化することで、視覚的知識を用いたプロンプト学習を正則化すること。
• インスタンス条件付きプロンプト生成を組み込むことで、分布シフト下での一般化を向上させること。
• ラベルの意味論と視覚的特徴を統合する柔軟でスケーラブルなフレームワークを提供すること。

提案手法

• 各ラベルに対して埋め込み空間上に変分事後分布を学習し、カテゴリ固有の不確実性を表す潜在ベクトルの確率的サンプリングを可能にする。
• 軽量な決定的生成ネットワークがサンプルされた潜在ベクトルをプレフィックス埋め込みにマッピングし、ランダム入力を通じてプロンプトの分布を生成する。
• 最適輸送（OT）を用いて、同じクラスに属するプロンプトトークンの分布と視覚的パッチの分布を整合化し、モダリティ間のOTコストを最小化する。
• 目的関数は、下界の期待値（ELBO）とOT正則化項を組み合わせており、確率的勾配降下法により最適化される。
• フレームワークは、画像特徴を用いてインスタンス条件付きプロンプトを生成する条件付きバージョン（CPBPrompt）に拡張され、一般化性能が向上する。
• 誘導バイアスを向上させるために、ラベル固有の事前分布を導入し、意味情報を事前分布に組み込む。

Figure 1: The core idea that multiple prompts are generated from the label-specific distributions.

実験結果

リサーチクエスチョン

• RQ1 確率的プロンプト生成を伴うベイジアンプロンプトチューニングは、決定的手法と比較して、ビジョン・ランゲージモデルにおける一般化性能を向上させることができるか？
• RQ2 視覚的パッチとテキストプロンプトの間で最適輸送に基づく整合化は、プロンプト品質とモデルのロバストネスを向上させるか？
• RQ3 事前分布にラベルの意味論を組み込むと、プロンプト学習性能にどのような影響を与えるか？
• RQ4 インスタンス条件付きプロンプト生成は、さらにゼロショットおよびファイントショット一般化を向上させることができるか？
• RQ5 提案手法はどの程度、データセット間で一般化され、ドメインシフト下でも有効であるか？

主な発見

• PBPromptは、クロスデータセット転移学習においてCoOpと比較して平均で2.0%の精度向上を達成し、10のターゲットデータセットにおいても高い転送性を示した。
• 細分化されたデータセット（FGVCAircraft、OxfordPets、Flowers102）では、顕著な性能差を示し、判別的特徴を捉える強力な能力を示した。
• ドメイン一般化設定では、すべてのターゲットドメイン（ImageNetV2、ImageNet-Sketch、ImageNet-A、ImageNet-R）で最高精度を記録し、ソースドメインのわずかな低下にもかかわらず、ベースラインを上回った。
• アブレーションスタディにより、ラベル固有の事前分布を用いることで、Flowers102の「New」セットで最大+3.61%の性能向上が確認され、その有効性が裏付けられた。
• OT正則化は、すべての設定で一貫して性能向上をもたらし、Caltech101のHで+0.63%、Flowers102のHで+2.81%の向上を記録した。
• CPBPromptは、インスタンス条件付きプロンプトを生成することでPBPromptを上回り、画像ガイドドのプロンプトチューニングが一般化性能を向上させることを確認した。

Figure 2: Overview of the proposed PBPrompt. PBPrompt generates the stochastic prompts by first sampling a label-specific vector $\bm{r}_{c}$ and then employing a single-layer self-attention network. OT distance is performed between the prefix tokens $\bm{p}_{c}$ and image patches to regularize the