[論文レビュー] Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model

Yinghui Xing, Qirui Wu+5 more|arXiv (Cornell University)|Aug 17, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、少量のラベル付きデータにおける視覚言語分類の性能を向上させるために、学習可能なテキストプロンプトと視覚的プロンプトを同時に最適化する、新たな手法であるデュアルモダリティプロンプトチューニング（DPT）を提案する。テキストトークンと画像トークンの間のクロスアテンションを用いて、クラスに特化した視覚的プロンプトを動的に生成することで、ターゲットの概念に特化した特徴の集中を実現する。16ショット設定下で11のデータセットにおいて、79.47%という最先端の精度を達成し、従来手法を顕著に上回る性能を示した。

ABSTRACT

With the emergence of large pre-trained vison-language model like CLIP, transferable representations can be adapted to a wide range of downstream tasks via prompt tuning. Prompt tuning tries to probe the beneficial information for downstream tasks from the general knowledge stored in the pre-trained model. A recently proposed method named Context Optimization (CoOp) introduces a set of learnable vectors as text prompt from the language side. However, tuning the text prompt alone can only adjust the synthesized "classifier", while the computed visual features of the image encoder can not be affected , thus leading to sub-optimal solutions. In this paper, we propose a novel Dual-modality Prompt Tuning (DPT) paradigm through learning text and visual prompts simultaneously. To make the final image feature concentrate more on the target visual concept, a Class-Aware Visual Prompt Tuning (CAVPT) scheme is further proposed in our DPT, where the class-aware visual prompt is generated dynamically by performing the cross attention between text prompts features and image patch token embeddings to encode both the downstream task-related information and visual instance information. Extensive experimental results on 11 datasets demonstrate the effectiveness and generalization ability of the proposed method. Our code is available in https://github.com/fanrena/DPT.

研究の動機と目的

• 既存のプロンプトチューニング手法がテキストプロンプトのみを最適化し、画像特徴を固定したままにしているという限界を解消すること。このアプローチでは、視覚的表現を下流タスクに適応させることができない。
• 視覚エンコーダーがターゲットの視覚的概念に注目できるように、学習可能な視覚的プロンプトを導入することで、特徴の整合性を向上させること。
• テキスト埋め込みと画像埋め込みの間のクロスアテンションを介して、タスク固有およびインスタンス固有の情報を統合する、クラスに特化した視覚的プロンプトメカニズムを構築すること。
• 多様な少サンプル視覚ベンチマークにおいて、デュアルモダリティプロンプトチューニングの有効性と一般化性能を実証すること。
• テキストまたは視覚プロンプトのいずれかのみをチューニングするのではなく、両モダリティを同時にチューニングすることで、優れた性能が得られることを示すこと。

提案手法

• テキストプロンプト（言語ストリーム内の学習可能なベクトル）と視覚的プロンプト（画像パッチトークンに挿入される学習可能なベクトル）を、同時にエンドツーエンドで最適化するデュアルモダリティプロンプトチューニング（DPT）フレームワークを導入する。
• 視覚的プロンプトを、ビジョントランスフォーマー（ViT）エンコーダー内の各トランスフォーマーブロックの前に挿入することで、自己アテンション機構を介して画像パッチトークンの埋め込みを変更する。
• クラスに特化した視覚的プロンプトチューニング（CAVPT）を提案し、テキストプロンプト特徴と画像パッチトークン埋め込みの間のクロスアテンションを用いて、視覚的プロンプトを動的に生成する。
• クロスアテンションを用いて、下流タスクの情報を（テキストプロンプトから得たもの）視覚的特徴に注入することで、モデルが関連する視覚的概念に強く注目できるようにする。
• 事前学習済みの画像およびテキストエンコーダーを固定したまま、プロンプトパラメータのみをチューニングすることで、最小限のパラメータで効率的な適応を実現する。
• テキストと視覚的プロンプトの監視信号を重み付き組み合わせで使用し、ハイパーパrameter α で両モダリティのバランスを制御する。

実験結果

リサーチクエスチョン

• RQ1 テキストと視覚的プロンプトの両方を同時にチューニングすることで、単一モダリティのプロンプトチューニングを上回る少サンプル視覚言語分類性能が達成可能か？
• RQ2 動的に生成されるクラスに特化した視覚的プロンプトは、固定または非特化型のプロンプトと比較して、ターゲットの視覚的概念への注目を強化するか？
• RQ3 多様な少サンプルデータセットにおいて、DPTの性能はゼロショットCLIP や CoOp および他のプロンプトチューニングベースラインと比較してどうか？
• RQ4 過学習を避けるために、性能を最大化する最適な視覚的プロンプトの長さと構成は何か？
• RQ5 DPTの有効性は、ViT-B/16 や ViT-B/32 といった異なるビジョントランスフォーマーベースラインに対しても一般化可能か？

主な発見

• DPTは16ショット設定下で11の少サンプルデータセットにおいて、平均79.47%という新たな最先端の精度を達成し、ゼロショットCLIP（61.32%）とCoOp（76.02%）を顕著に上回った。
• アブレーションスタディの結果、視覚的プロンプトチューニングのみでCoOpに比べ3.45%の精度向上が得られ、両モダリティの共同チューニングによりさらに0.45%の向上が確認された。
• 10個の視覚的プロンプトトークンを用いたクラスに特化した視覚的プロンプトチューニング（CAVPT）が、平均79.47%の最高精度を達成し、5個（短い）や50個（長い）の長さよりも優れていた。
• 異なるViTバックボーン（ViT-B/16 で78.96%、ViT-B/32 で79.47%）に対しても、DPTは良好な一般化性能を示し、そのロバスト性を確認した。
• 可視化結果から、DPTは正解のターゲットオブジェクトにより効果的に注目しているのに対し、CoOp やゼロショットCLIP といったベースライン手法は、関係のない複数のオブジェクトに注目していることが確認された。
• αの値を変化させたアブレーションでは、バランスの取れた組み合わせ（α=0.5）が最適な性能を示し、両モダリティが最終結果に顕著に寄与していることが示された。