[論文レビュー] Prompting Large Pre-trained Vision-Language Models For Compositional Concept Learning

Guangyue Xu, Parisa Kordjamshidi+1 more|arXiv (Cornell University)|Nov 9, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、ソフトプロンプティングとソフト埋め込み層の二重の学習可能コンponentを導入することで、大規模なビジョン・ランゲージモデル（VLM）の構成的ゼロショット学習（CZSL）を向上させる、パラメータ効率の良いプロンプティングフレームワーク、PromptCompVLを提案する。これらのコンponentを介してCLIPを再プログラミングすることで、MIT-Statesで最先端の性能を達成し、CLIPベースのベースラインより一貫した改善を示した。構成的コンセプト学習におけるソフトプロンプティングとソフト埋め込みの統合の有効性が裏付けられた。

ABSTRACT

This work explores the zero-shot compositional learning ability of large pre-trained vision-language models(VLMs) within the prompt-based learning framework and propose a model ( extit{PromptCompVL}) to solve the compositonal zero-shot learning (CZSL) problem. extit{PromptCompVL} makes two design choices: first, it uses a soft-prompting instead of hard-prompting to inject learnable parameters to reprogram VLMs for compositional learning. Second, to address the compositional challenge, it uses the soft-embedding layer to learn primitive concepts in different combinations. By combining both soft-embedding and soft-prompting, extit{PromptCompVL} achieves state-of-the-art performance on the MIT-States dataset. Furthermore, our proposed model achieves consistent improvement compared to other CLIP-based methods which shows the effectiveness of the proposed prompting strategies for CZSL.

研究の動機と目的

• 大規模な事前学習済みビジョン・ランゲージモデル（VLM）の、プロンプトベースのフレームワークにおけるゼロショット構成的学習能力を調査すること。
• トレーニング中に未観測の属性-オブジェクトペアを認識しなければならない、構成的ゼロショット学習（CZSL）における分布シフト問題に対処すること。
• CLIPを微調整せずにモデル全体を再プログラミングする、パラメータ効率の良いプロンプティング手法を導入することで、VLMのCZSLにおける一般化性能を向上させること。
• 基本コンセプトとその構成を学習するためのソフトプロンプティングとソフト埋め込みの併用の有効性を検証すること。

提案手法

• CLIPのハードプロンプティングベクトルを置き換えることで、学習可能な連続的プロンプト埋め込みを導入し、CZSLに再プログラミングするソフトプロンプティングを導入する。
• 固定された語彙埋め込み層を置き換えることで、学習可能な動的埋め込みを学習・更新するソフト埋め込み層を導入する。これは、例えば「sliced」や「apple」のような基本コンセプトの埋め込みを動的に学習することを可能にする。
• トレーニング中にCLIPの事前学習済み画像およびテキストエンコーダー（ViT-L/14 または ResNet）を固定し、ソフトプロンプティングおよびソフト埋め込みパラメータのみを更新する。
• 学習済みのソフト埋め込みとソフトプロンプトを用いてテキスト入力を構築し、合成コンセプト（例：「sliced apple」）を形成する。その後、これらの入力をCLIPのテキストエンコーダーで符号化する。
• コントラスト損失とコサイン類似度を用いてログティスを計算し、交差エントロピー損失を用いてソフトプロンプティングおよびソフト埋め込みパラメータを最適化する。
• 推論時、共有空間における画像とテキスト埋め込み間のコサイン類似度が最大となる合成ラベルを選択する。

実験結果

リサーチクエスチョン

• RQ1 CLIPのような大規模な事前学習済みビジョン・ランゲージモデルは、微調整なしで構成的ゼロショット学習に一般化可能か？
• RQ2 ソフトプロンプティングは、構成的コンセプト学習タスクのVLMを再プログラミングするためにどの程度有効か？
• RQ3 基本コンセプト用の学習可能なソフト埋め込み層を導入することで、未観測の属性-オブジェクト構成への一般化性能が向上するか？
• RQ4 ソフトプロンプティングとソフト埋め込みの併用は、既存のCLIPベースのプロンプティング手法よりもCZSLベンチマークで優れた性能を示せるか？

主な発見

• PromptCompVLは、MIT-StatesデータセットにおいてクローズドワールドおよびオープンワールドのCZSL設定の両方で最先端の性能を達成し、非CLIPおよびCLIPベースのベースラインを上回った。
• MIT-Statesでは、PromptCompVLは最高の既知の正確度と競争力のある未知の正確度を達成し、COOP や CSP などの他のCLIPベース手法よりも一貫した改善を示した。
• MIT-Statesでは、既知および未知の構成の両方で一貫した性能向上を示し、構成的学習における分布シフトに対するロバストネスを示した。
• UT-Zapposでは最先端の性能を達成しなかったが、クローズドワールド設定においても他のCLIPベース手法を上回り、より広範な分野でもプロンプティング戦略の有効性を示した。
• アブレーション実験では、ソフトプロンプティングのみでも顕著な性能向上が得られ、ソフト埋め込みの追加により、固定埋め込みを超える構成的一般化性能が向上した。