[論文レビュー] From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models

Jiaxian Guo, Junnan Li+5 more|arXiv (Cornell University)|Dec 21, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本論文では、合成画像キャプションと対応する質問・回答ペアをプロンプトとして生成することで、固定された大規模言語モデル（LLM）がゼロショット視覚的質疑応答（VQA）を実行できるようにする、プラグアンドプレイ型モジュールであるImg2LLMを提案する。この手法は、エンドツーエンドの微調整や専用のトレーニングを一切行わず、SOTAのゼロショットVQA性能を達成しており、VQAv2ではFlamingoを5.6%上回り、A-OKVQAでは少数ショット手法を最大20%上回る。

ABSTRACT

Large language models (LLMs) have demonstrated excellent zero-shot generalization to new language tasks. However, effective utilization of LLMs for zero-shot visual question-answering (VQA) remains challenging, primarily due to the modality disconnection and task disconnection between LLM and VQA task. End-to-end training on vision and language data may bridge the disconnections, but is inflexible and computationally expensive. To address this issue, we propose \emph{Img2Prompt}, a plug-and-play module that provides the prompts that can bridge the aforementioned modality and task disconnections, so that LLMs can perform zero-shot VQA tasks without end-to-end training. In order to provide such prompts, we further employ LLM-agnostic models to provide prompts that can describe image content and self-constructed question-answer pairs, which can effectively guide LLM to perform zero-shot VQA tasks. Img2Prompt offers the following benefits: 1) It can flexibly work with various LLMs to perform VQA. 2)~Without the needing of end-to-end training, it significantly reduces the cost of deploying LLM for zero-shot VQA tasks. 3) It achieves comparable or better performance than methods relying on end-to-end training. For example, we outperform Flamingo \cite{Deepmind:Flamingo2022} by 5.6\% on VQAv2. On the challenging A-OKVQA dataset, our method even outperforms few-shot methods by as much as 20\%.

研究の動機と目的

• 固定されたLLMを用いたゼロショットVQAにおいて、視覚と言語のモダリティおよびタスクの不一致を解消すること。
• 視覚言語モデルの高コストなエンドツーエンド微調整の必要性を排除すること。
• 視覚理解と言語生成を分離することで、LLMの柔軟で低コストなVQAへの展開を可能にすること。
• アノテート済みの少々ショット例に依存せずに、ゼロショットVQAの一般化性能を向上させること。

提案手法

• Img2LLMは、視覚言語モデル（例：BLIP）と質問生成モデルを用い、テスト画像と質問から合成された画像キャプションと対応する質問・回答ペアを生成する。
• 生成された合成QAペアをプロンプトとして用い、固定されたLLMが入力された質問に回答するのを支援する。
• 各テストサンプルごとに動的にプロンプトを生成することで、静的ないくつかのショット例に依存しない。
• すべてのキャプションを先に連結し、その後すべてのQAペアを連結する（CCC-QAQAQA）というプロンプト設計が、交互に配置する設計（CQA-CQA-CQA）を上回る性能を発揮する。
• キャプション選択は周波数ベースのフィルタリングを用いて最適化され、プロンプトの品質を向上させるとともにノイズを低減する。
• このアプローチはLLMに依存せず、任意の市販のLLMとのプラグアンドプレイ統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 固定されたLLMがエンドツーエンド微調整なしに、合成視覚的プロンプトを活用することでゼロショットVQAを実行できるか？
• RQ2 プロンプト設計（例：CCC-QAQAQA 対 CQA-CQA-CQA）がVQA性能に与える影響は何か？
• RQ3 動的で画像および質問に特化した合成QAペアは、ゼロショット環境において静的ないくつかのショット例を上回る性能を発揮できるか？
• RQ4 キャプション選択戦略（例：最大/最小周波数）がプロンプト品質および下流のVQA精度に与える影響は何か？
• RQ5 Flamingoのようなエンドツーエンドで訓練されたモデルと比較して、この手法はゼロショットVQAベンチマークでどのように性能を発揮するか？

主な発見

• VQAv2の検証セットにおいて、Img2LLMはFlamingoを5.6%上回り、OPT-30Bを用いて59.5%の正確性を達成した。
• 挑戦的なA-OKVQAベンチマークでは、Img2LLMは少数ショット手法を最大20%上回る正確性を発揮した。
• CCC-QAQAQAプロンプト設計はCQA-CQA-CQAを顕著に上回り、VQAv2では59.5%、OK-VQAでは41.8%の正確性を達成した。
• 質問に関連するキャプションをフィルタリングして使用することで、VQAv2で59.5%、OK-VQAで41.8%の正確性を達成した（完全な画像キャプションを使用した場合の57.1%および39.8%と比較）。
• 推論のオーバーヘッドをA100 GPUで24.4%にまで低減し、Flamingoのようなエンドツーエンド学習の500K以上のTPU時間のコストを回避した。
• アブレーションスタディにより、プロンプト設計およびキャプション選択戦略が性能に顕著な影響を与えることが確認され、最小周波数キャプション選択が性能向上に寄与した。