[論文レビュー] A Good Prompt Is Worth Millions of Parameters: Low-resource Prompt-based Learning for Vision-Language Models

Woojeong Jin, Cheng Yu+3 more|arXiv (Cornell University)|Oct 16, 2021

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

本稿では、プロンプトベースの学習を用いて、VQAおよび画像キャプションの少サンプル性能で最先端の結果を達成するコンパクトなビジョン・ランゲージモデル、FewVLMを提案する。ゼロショットVQAでは31倍も大きなモデルを上回り、同じタスクで246倍も大きなモデルと同等の性能を発揮する。効果的なプロンプト設計と、マスクドLMやプレフィックスLMのような事前学習目的が、特にリソースが限られた状況下で性能を顕著に向上させることを示している。

ABSTRACT

Large pre-trained vision-language (VL) models can learn a new task with a handful of examples and generalize to a new task without fine-tuning. However, these VL models are hard to deploy for real-world applications due to their impractically huge sizes and slow inference speed. To solve this limitation, we study prompt-based low-resource learning of VL tasks with our proposed method, FewVLM, relatively smaller than recent few-shot learners. For FewVLM, we pre-train a sequence-to-sequence transformer model with prefix language modeling (PrefixLM) and masked language modeling (MaskedLM). Furthermore, we analyze the effect of diverse prompts for few-shot tasks. Experimental results on VQA show that FewVLM with prompt-based learning outperforms Frozen which is 31x larger than FewVLM by 18.2% point and achieves comparable results to a 246x larger model, PICa. In our analysis, we observe that (1) prompts significantly affect zero-shot performance but marginally affect few-shot performance, (2) models with noisy prompts learn as quickly as hand-crafted prompts given larger training data, and (3) MaskedLM helps VQA tasks while PrefixLM boosts captioning performance. Our code is publicly available at \url{https://github.com/woojeongjin/FewVLM}

研究の動機と目的

• 少ないリソースの少サンプルおよびゼロショット学習に適したコンパクトで効率的なビジョン・ランゲージモデルの開発。
• プロンプト設計が少サンプルおよびゼロショットビジョン・ランゲージタスクのパフォーマンスに与える影響の調査。
• 異なる事前学習目的（マスクドLMとプレフィックスLM）が、下流タスクへの一般化性能に与える影響の評価。
• 訓練データが増加するに従って、ノイズ混じりまたは手作業で作成されたプロンプトが学習速度および最終パフォーマンスに与える影響の特定。
• モデルサイズと推論コストの削減を通じて、ビジョン・ランゲージモデルの実用的導入を可能にする。

提案手法

• プレフィックス言語モデル（プレフィックスLM）とマスクド言語モデル（マスクドLM）の両方の目的を用いて、シーケンス・トゥ・シーケンスのトランスフォーマー・モデルを事前学習する。
• ビジョン・ランゲージタスクを、画像とプロンプトを入力として与えたときのターゲット・テキストの生成という生成タスクに変換する。
• プロンプトテンプレート（例：' <text_1> [A] '）を用いてモデルの生成をガイドし、少サンプルへの適応性を向上させる。
• 手作業で作成されたプロンプト、ノイズ混じりのプロンプト、ランダムなプロンプトを含む多様なプロンプト形式の性能を評価する。
• 1～300例の少数の例でのファインチューニングにより、少サンプル一般化性能を評価する。
• VQA、キャプション、mini-ImageNetの各タスクで、大規模なベースライン（Frozen：31倍大きい、PICa：246倍大きい）と比較する。

実験結果

リサーチクエスチョン

• RQ1 プロンプト設計は、ビジョン・ランゲージタスクにおけるゼロショットおよび少サンプル性能にどのように影響するか？
• RQ2 より多くの訓練例が利用可能になると、プロンプトの質が依然として重要であるか？
• RQ3 異なる事前学習目的（マスクドLM 対 プレフィックスLM）は、異なる下流タスクでのパフォーマンスにどのように影響するか？
• RQ4 ノイズ混じりのプロンプトで訓練されたモデルは、手作業で作成されたプロンプトで訓練されたモデルと同等の性能を達成できるか？
• RQ5 マスクドLMとプレフィックスLMの事前学習を組み合わせることで、タスク間一般化にどのような影響を与えるか？

主な発見

• FewVLMは、ゼロショットVQAv2で31倍も大きなモデルであるFrozenを18.2ポイント上回り、43.4％の正確度を達成した。
• FewVLMは、少サンプル学習において246倍も大きなモデルであるPICaと同等の性能を発揮し、VQAv2で48.2％の正確度を達成した。
• プロンプトはゼロショット性能に顕著な影響を与えるが、少サンプル性能には僅かな影響しか与えず、特に訓練データが増加するにつれて顕著でなくなる。
• 十分な訓練データが利用可能な場合、ノイズ混じりのプロンプト（例：ランダムな文）で訓練されたモデルは、手作業で作成されたプロンプトで訓練されたモデルと同等の速度で学習する。
• マスクドLMの事前学習はVQAタスクのパフォーマンスを向上させるが、プレフィックスLMはFlickr30kおよびGQAでのキャプション性能を向上させる。
• マスクドLMとプレフィックスLMの組み合わせは相乗効果をもたらし、VQAおよびキャプションの両方のタスクにおける一般化性能を向上させる。