[論文レビュー] Self-regulating Prompts: Foundational Model Adaptation without Forgetting

Muhammad Uzair Khattak, Syed Talal Wasim+4 more|arXiv (Cornell University)|Jul 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、CLIPなどの基盤的視覚言語モデルにおける過学習を防ぐために、タスク固有の表現とタスクに依存しない表現の両方を同時に最適化する自己調整型プロンプト学習フレームワーク、PromptSRCを提案する。本手法は、固定されたCLIP特徴量との相互同意、学習履歴全体にわたるガウス重み付き自己アンサンブル、複数のプロンプトテンプレートによるテキストの多様性を活用し、ベースからノベルへの一般化ベンチマークでMaPLe比+1.42%、CLIP比+8.26%の調和平均向上を達成し、最先端性能を実現した。

ABSTRACT

Prompt learning has emerged as an efficient alternative for fine-tuning foundational models, such as CLIP, for various downstream tasks. Conventionally trained using the task-specific objective, i.e., cross-entropy loss, prompts tend to overfit downstream data distributions and find it challenging to capture task-agnostic general features from the frozen CLIP. This leads to the loss of the model's original generalization capability. To address this issue, our work introduces a self-regularization framework for prompting called PromptSRC (Prompting with Self-regulating Constraints). PromptSRC guides the prompts to optimize for both task-specific and task-agnostic general representations using a three-pronged approach by: (a) regulating prompted representations via mutual agreement maximization with the frozen model, (b) regulating with self-ensemble of prompts over the training trajectory to encode their complementary strengths, and (c) regulating with textual diversity to mitigate sample diversity imbalance with the visual branch. To the best of our knowledge, this is the first regularization framework for prompt learning that avoids overfitting by jointly attending to pre-trained model features, the training trajectory during prompting, and the textual diversity. PromptSRC explicitly steers the prompts to learn a representation space that maximizes performance on downstream tasks without compromising CLIP generalization. We perform extensive experiments on 4 benchmarks where PromptSRC overall performs favorably well compared to the existing methods. Our code and pre-trained models are publicly available at: https://github.com/muzairkhattak/PromptSRC.

研究の動機と目的

• CLIPのような基盤的視覚言語モデルにおけるプロンプトの過学習を解消し、新しいタスクへの一般化能力を損なわないようにすること。
• 微調整を行わずとも、固定されたCLIPのゼロショット一般化能力を維持しつつ、下流タスクに適応すること。
• タスク固有の適応とタスクに依存しない表現学習の両立を図る自己調整型プロンプト学習フレームワークの開発。
• 特にリソースが限られた状況下で、視覚的およびテキスト的モダリティの監視の不均衡を軽減すること。
• 微調整なしでドメインシフト、少数ショット学習、クロスデータセット転移の状況下でも一般化性能を向上させること。

提案手法

• 一般化可能な知識を保持するために、プロンプト付きと固定されたCLIP特徴量の間で相互同意を最大化する損失関数を導入する。
• 学習エポック全体にわたるプロンプトの重み付き集約（GPA）戦略を採用し、学習の安定化と相補的な強みの活用を実現する。
• 各クラスに対して複数の多様なプロンプトテンプレートを用いることで、テキストの監視を強化し、テキストエンコーダ特徴量のバイアス低減を図る。
• 視覚的およびテキスト的プロンプト表現の整合性を保つために、L1距離メトリックを用いた特徴レベルの一貫性損失（LSCL）を適用する。
• 推論効率を維持するため、CLIPのテキスト特徴量を事前計算し、学習中に視覚的特徴量の前方伝搬を1回のみ実行する。
• 三本の柱による正則化戦略を採用：固定モデルとの相互同意、学習履歴にわたる自己アンサンブル、テンプレート拡張によるテキストの多様性。

実験結果

リサーチクエスチョン

• RQ1 固定CLIP特徴量との相互同意による自己調整は、下流タスクの性能を損なわせることなく一般化性能を向上させることができるか？
• RQ2 学習履歴全体にわたるプロンプトの自己アンサンブルは、プロンプト学習におけるロバスト性と一般化性能を向上させるか？
• RQ3 複数のプロンプトテンプレートによるテキストの多様性を高めることで、不均衡の是正と表現品質の向上が図れるか？
• RQ4 ドメインシフト、少数ショット、クロスデータセット一般化の状況下でPromptSRCはどのように性能を発揮するか？
• RQ5 自己調整型プロンプト学習における性能向上と計算コストのトレードオフはどのようなものか？

主な発見

• 11のデータセットにわたるベースからノベルへの一般化ベンチマークにおいて、PromptSRCは調和平均79.97%を達成し、MaPLe比+1.42%、CLIP比+8.26%の向上を示した。
• ドメイン一般化の分野においても、出分布データセットで平均60.65%の精度を記録し、すべての先行手法を上回る最先端性能を達成した。
• 訓練コストは低く抑えられ、IVLP比9.3%の延長時間、GFLOPsは0.13倍の増加に留まり、ベースライン手法と同等の推論速度とGFLOPsを維持した。
• アブレーションスタディの結果、L1マッチング損失がコサイン類似度やMSEよりも一貫性損失で優れた性能を示し、ガウス重み付きプロンプト集約が等重み平均化よりも優れた性能を示した。
• テキストテンプレートの数を増やすことで性能が向上し、テキストの多様性が監視と表現品質の向上に寄与することが示された。
• 4つの視覚言語プロンプトと4トークンのプロンプト長が最適であり、表現力と一般化性能のバランスが図られた。