[論文レビュー] Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models

Juncheng Li, Minghe Gao+8 more|arXiv (Cornell University)|Mar 12, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、ラベルなし画像・テキストペアのみを用いて最適なソフトプロンプト初期化と軽量な勾配調整関数を同時に学習する、モデルに依存しないフレームワークである勾配制御メタプロンプト学習（GRAM）を提案する。GRAMは、初期化への感受性を低減し、ドメイン固有のバイアスへの過学習を防ぐことで少サンプル一般化性能を向上させ、11のデータセットで一貫した性能向上を達成し、テキストおよび視覚的プロンプトチューニングの相乗効果を実現する。

ABSTRACT

Prompt tuning, a recently emerging paradigm, enables the powerful vision-language pre-training models to adapt to downstream tasks in a parameter -- and data -- efficient way, by learning the ``soft prompts'' to condition frozen pre-training models. Though effective, it is particularly problematic in the few-shot scenario, where prompt tuning performance is sensitive to the initialization and requires a time-consuming process to find a good initialization, thus restricting the fast adaptation ability of the pre-training models. In addition, prompt tuning could undermine the generalizability of the pre-training models, because the learnable prompt tokens are easy to overfit to the limited training samples. To address these issues, we introduce a novel Gradient-RegulAted Meta-prompt learning (GRAM) framework that jointly meta-learns an efficient soft prompt initialization for better adaptation and a lightweight gradient regulating function for strong cross-domain generalizability in a meta-learning paradigm using only the unlabeled image-text pre-training data. Rather than designing a specific prompt tuning method, our GRAM can be easily incorporated into various prompt tuning methods in a model-agnostic way, and comprehensive experiments show that GRAM brings about consistent improvement for them in several settings (i.e., few-shot learning, cross-domain generalization, cross-dataset generalization, etc.) over 11 datasets. Further, experiments show that GRAM enables the orthogonal methods of textual and visual prompt tuning to work in a mutually-enhanced way, offering better generalizability beyond the uni-modal prompt tuning methods.

研究の動機と目的

• ソフトプロンプト初期化の感度問題に対処し、異なる初期化値で性能が著しく変動する問題を解消すること。
• 限られた訓練データにおける誤った相関関係にプロンプトチューニングが過学習するのを軽減し、少サンプル学習における一般化性能の低下を是正すること。
• 最小限のラベル付きデータで、凍結された視覚言語モデルを新しいタスクに迅速に適応可能にすること。
• テキストおよび視覚的プロンプトチューニングを補完的かつ相互に強化する形で向上させる、モデルに依存しない手法を開発すること。
• 教師ありメタトレーニングタスクに依存せずに、大規模なラベルなし画像・テキストデータを用いてメタ学習を行うこと。

提案手法

• テキストおよび画像のコンテンツに基づき、ラベルなしの画像・テキストデータを意味的トピックとサブドメインに構造化するためのクロスモダリティ階層的クラスタリング（CHC）アルゴリズムを提案する。
• 同じ意味的トピック内での異なるドメインからサポートセットとクエリセットをサンプリングすることで、メタトレーニングにおけるドメインシフトをシミュレートする。
• クエリセットにおける一般化誤差を最小化するメタ最適化目的関数を用いて、ソフトプロンプト初期化と勾配調整関数を同時にメタ学習する。
• 生の微分勾配を、ドメインを超えて一貫性があり一般化可能な方向に変換する、軽量な勾配調整関数を導入する。
• メタトレーニングデータとして、インターネットからのラベルなし画像・テキストペアのみを用い、アノテーション付きデータセットに依存しない。
• モデルに依存しない設計により、CoOp（テキスト系）やVPT（視覚系）を含むさまざまなプロンプトチューニング手法とのプラグアンドプレイ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし画像・テキストデータからのメタ学習は、少サンプル適応におけるソフトプロンプト初期化の感度を低減させ、改善できるか？
• RQ2 勾配調整関数は、プロンプトチューニング中にドメイン固有のパターンへの過学習を軽減し、ドメイン間一般化性能を向上させられるか？
• RQ3 GRAMは、統合チューニングや個別手法と比較して、テキストおよび視覚的プロンプトチューニングの相乗効果をより良く実現できるか？
• RQ4 教師ありメタトレーニングやラベル付きデータでの事前学習と比較して、ラベルなしデータのみを用いたGRAMの有効性は何か？
• RQ5 プロンプトトークン数の増加が、ベースクラスの性能と新規クラスへの一般化性能のバランスに与える影響は何か？

主な発見

• GRAMは、異なるランダム初期化における性能のばらつきを低減し、ソフトプロンプト初期化への感受性の低さを示している。
• 勾配調整関数により、トレーニング中における性能の低下が防止され、CoOp+GRAMでは新規クラスで高い正確性を維持している一方、CoOp単体では著しく性能が低下している。
• ベースラインと比較して、GRAMは新規クラスでの正確性を相対的に15%向上させており、その主な要因は勾配調整関数である。
• ラベルなしデータをメタトレーニングに用いることで、WebVisionなどの教師ありデータセットを用いる場合を上回る性能が得られ、大規模かつ多様なラベルなしデータがメタ学習に有効であることが示された。
• GRAMによるテキストおよび視覚的プロンプトの同時メタ学習は、両方のプロンプトタイプを直接統合的にチューニングするのと比較して、相互に強化された性能向上を実現した。
• プロンプトトークン数を4より多くに増やすと、新規クラスにおける一般化性能が劣化し、4トークンがベースクラスと新規クラスの正確性のバランスにおいて最適な結果をもたらした。