[論文レビュー] MaPLe: Multi-modal Prompt Learning

Muhammad Uzair Khattak, Hanoona Rasheed+3 more|arXiv (Cornell University)|Oct 6, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

MaPLeは、視覚と言語の両ブランチを同時に微調整するためのマルチモーダルプロンプト学習を提案し、結合された深層コンテキストプロンプトを用いることで、未知のクラス、クロスデータセット転送、ドメインシフトのあらゆる状況において優れた汎化性能を達成した。11の画像認識データセットにおいて、未知クラスでは3.45%、調和平均では2.72%のSOTA性能向上を達成したが、パrameterとFLOPの追加コストは最小限に抑えられた。

ABSTRACT

Pre-trained vision-language (V-L) models such as CLIP have shown excellent generalization ability to downstream tasks. However, they are sensitive to the choice of input text prompts and require careful selection of prompt templates to perform well. Inspired by the Natural Language Processing (NLP) literature, recent CLIP adaptation approaches learn prompts as the textual inputs to fine-tune CLIP for downstream tasks. We note that using prompting to adapt representations in a single branch of CLIP (language or vision) is sub-optimal since it does not allow the flexibility to dynamically adjust both representation spaces on a downstream task. In this work, we propose Multi-modal Prompt Learning (MaPLe) for both vision and language branches to improve alignment between the vision and language representations. Our design promotes strong coupling between the vision-language prompts to ensure mutual synergy and discourages learning independent uni-modal solutions. Further, we learn separate prompts across different early stages to progressively model the stage-wise feature relationships to allow rich context learning. We evaluate the effectiveness of our approach on three representative tasks of generalization to novel classes, new target datasets and unseen domain shifts. Compared with the state-of-the-art method Co-CoOp, MaPLe exhibits favorable performance and achieves an absolute gain of 3.45% on novel classes and 2.72% on overall harmonic-mean, averaged over 11 diverse image recognition datasets. Our code and pre-trained models are available at https://github.com/muzairkhattak/multimodal-prompt-learning.

研究の動機と目的

• CLIPにおける単モードプロンプトの限界（視覚または言語ブランチのいずれかにのみ適応）を解消するため、完全でマルチモーダルなプロンプト戦略を提案すること。
• 共通関数を介して両モダリティ間でプロンプトを明示的に結合することで、視覚と言語の表現間の整合性を向上させること。
• 視覚および言語ブランチの複数のトランスフォーマーブロックに別々のプロンプトを学習することで、段階的で順次的な適応を可能にすること。
• モデルの複雑さや推論コストを増加させることなく、未知のクラス、未知のドメイン、クロスデータセット転送への汎化性能を向上させること。
• 従来のプロンプト学習手法と比較して、最小限のパrameterとFLOPの追加コストで高い性能を達成すること。

提案手法

• MaPLeは、CLIPの残りの部分を固定したまま、視覚および言語のトランスフォーマーブランチの両方で文脈プロンプトを学習する、ブランチに特化した階層的プロンプトを導入する。
• 視覚プロンプトがそれに対応する言語プロンプトに条件づけられるように、V-L結合関数 $\mathcal{F}$ を採用し、相互勾配伝播と相乗効果を促進する。
• 複数のトランスフォーマーブロックにわたり、独立してプロンプトを学習することで、段階的特徴関係を次第にモデル化し、文脈理解を豊かにする。
• 両ブランチの各レイヤーに学習可能なプロンプト埋め込みを用い、レイヤー間で共有された結合関数を用いることで一貫性を維持し、冗長性を低減する。
• フレームワークは、CLIPエンコーダーを固定した状態でエンドツーエンドに訓練され、学習済みプロンプトを用いて画像とテキストの埋め込み間の対照的損失を最適化する。
• Co-CoOpと比較して、CLIPに2.85%のパrameter増加にとどめ、FLOPsの追加も0.1%未満に抑え、効率性を維持する。

Figure 1 : Comparison of MaPLe with standard prompt learning methods. (a) Existing methods adopt uni-modal prompting techniques to fine-tune CLIP representations as prompts are learned only in a single branch of CLIP (language or vision). (b) MaPLe introduces branch-aware hierarchical prompts that a

実験結果

リサーチクエスチョン

• RQ1 CLIPの視覚および言語ブランチの両方で統合的プロンプトを適用することで、単モードプロンプトに比べて表現の整合性と汎化性能が向上するか？
• RQ2 共通関数を介して視覚と言語プロンプトを結合することで、多様な下流タスクにおける性能とロバスト性にどのような影響を与えるか？
• RQ3 複数のトランスフォーマーブロックにわたりプロンプトを学習する「深層プロンプト」は、浅いプロンプトに比べて特徴表現と汎化性能を向上させるか？
• RQ4 ドメインシフト、クロスデータセット転送、少数の未知クラスに対する汎化性能において、MaPLeはSOTA手法を上回る性能を示すか？
• RQ5 マルチモーダルプロンプト学習において、性能向上と計算効率のトレードオフはどのようなものか？

主な発見

• MaPLeは、11の多様な画像認識データセットにおいて、未知クラスの精度で3.45%の絶対的向上、調和平均で2.72%の向上を達成し、Co-CoOpを上回った。
• ドメイン一般化ベンチマークでは、Co-CoOpに比べて調和平均が1.75%向上し、すべてのターゲットデータセットで一貫した向上を示した。
• 推論速度は高く維持され、バッチサイズ16で239 FPSを達成した。これは、一定のFPSを維持するCo-CoOpに比べて顕著に高速であった。
• アブレーション実験では、プロンプトの深さが9のとき最適な性能が得られ、それ以上の長さは過学習を引き起こし、未知クラスへの汎化性能を低下させた。
• 共有結合関数を備えた軽量版であるMaPLe†は、パrameterの増加がたった0.33%にとどまり、78.11%の調和平均を達成した。これは、性能向上がパrameter数に起因するものではないことを示している。
• マルチモーダルプロンプトを用いても、CoOpと比較してFLOPsはわずか0.1%増加に抑えられ、高い計算効率を示した。

Figure 2 : Overview of our proposed MaPLe ( M ulti-mod a l P rompt Le arning) framework for prompt learning in V-L models. MaPLe tunes both vision and language branches where only the context prompts are learned, while the rest of the model is frozen. MaPLe conditions the vision prompts on language