[論文レビュー] Investigating Prompting Techniques for Zero- and Few-Shot Visual Question Answering

Rabiul Awal, Le Zhang+1 more|arXiv (Cornell University)|Jun 16, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文は、微調整を伴わずに、視覚言語モデル（VLM）におけるゼロショットおよびフェイントショットの視覚的質問応答（VQA）性能を向上させるプロンプト技術を調査する。戦略的な質問テンプレート、画像キャプションを視覚的キューとして使用、自己一貫性のある思考の連鎖的推論、テキストのみのフェイントショット例が、正確性を顕著に向上させることを示している。一方、LLMによるガイド付き前処理は、特に長文出力の傾向があるモデル（例：LLaVa）において、評価指標の安定性を高めている。

ABSTRACT

In this paper, we explore effective prompting techniques to enhance zero- and few-shot Visual Question Answering (VQA) performance in contemporary Vision-Language Models (VLMs). Central to our investigation is the role of question templates in guiding VLMs to generate accurate answers. We identify that specific templates significantly influence VQA outcomes, underscoring the need for strategic template selection. Another pivotal aspect of our study is augmenting VLMs with image captions, providing them with additional visual cues alongside direct image features in VQA tasks. Surprisingly, this augmentation significantly improves the VLMs' performance in many cases, even though VLMs "see" the image directly! We explore chain-of-thought (CoT) reasoning and find that while standard CoT reasoning causes drops in performance, advanced methods like self-consistency can help recover it. Furthermore, we find that text-only few-shot examples enhance VLMs' alignment with the task format, particularly benefiting models prone to verbose zero-shot answers. Lastly, to mitigate the challenges associated with evaluating free-form open-ended VQA responses using string-matching based VQA metrics, we introduce a straightforward LLM-guided pre-processing technique to adapt the model responses to the expected ground-truth answer distribution. In summary, our research sheds light on the intricacies of prompting strategies in VLMs for VQA, emphasizing the synergistic use of captions, templates, and pre-processing to enhance model efficacy.

研究の動機と目的

• タスク固有の微調整を伴わず、視覚言語モデル（VLM）におけるゼロショットおよびフェイントショットVQAのプロンプト技術を体系的かつ評価すること。
• 質問テンプレート、画像キャプション、思考の連鎖的推論、フェイントショット例といった、どのプロンプト戦略がVQAの正確性を最も効果的に向上させるかを同定すること。
• 従来の文字列一致評価指標の限界を是正するため、LLMガイド付き前処理を導入し、モデル出力と基準回答との整合性を高めること。
• VQAv2、GQA、OKVQA、AOKVQA、Winoground-VQAを含む多様なベンチマークで、最先端のVLM（例：LLaVa、BLIP2、OpenFlamingo、Kosmos2）を評価すること。
• モデル固有の感受性、例えばテンプレートへの好みや構成的推論タスクにおける性能低下を明らかにし、効果的なプロンプト戦略の指針を得ること。

提案手法

• 複数のVLMにわたる回答の正確性に与える影響を評価するために、さまざまな言い回しや構造を持つ質問テンプレートを体系的にテストした。
• 画像特徴の直接入力に加え、詳細さや関連性が異なる画像キャプションをVLMの入力に追加し、追加の視覚的文脈を提供した。
• 思考の連鎖（CoT）プロンプトを適用し、モデルに回答の前に段階的推論を生成させるように促し、CoT-イテレーティブ、CoT-コンテキスト、CoT-一貫性の変種を評価した。
• 特にゼロショット出力が冗長になりがちなモデル向けに、テキストのみのフェイントショット例を導入し、タスクフォーマットへの整合性を高めた。
• モデルが出力する回答を評価前に精錬するため、LLMガイド付き前処理を実装し、基準回答のスタイルに合わせて調整することで、評価指標の信頼性を向上させた。
• VQAv2、Visual7w、GQA、OKVQA、AOKVQA、Winoground-VQAを含む6つのベンチマークでモデルを評価し、標準的および精錬された指標を用いた。

Figure 1 : Overview of prompting techniques explored with various VLMs, encompassing Standard, Caption, Chain-of-thought VQA and Text-only Few-shot, and the use of LLM-guided pre-processing.

実験結果

リサーチクエスチョン

• RQ1 異なる質問テンプレートは、多様な視覚言語モデルにおいてゼロショットおよびフェイントショットVQA性能にどのように影響を与えるか？
• RQ2 直接画像入力があるにもかかわらず、追加の視覚的文脈としての画像キャプションは、VQAの正確性をどの程度向上させるか？
• RQ3 思考の連鎖的推論はVQA性能を向上させることができるか？特に、自己一貫性の高いバージョン（例：30サンプル、過半数投票）が、性能低下を緩和するのにどの程度有効か？
• RQ4 テキストのみのフェイントショット例は、キャプションやCoTと組み合わせた場合に、タスクフォーマットへの整合性向上にどの程度効果的か？
• RQ5 LLMガイド付き前処理は、従来のVQA評価指標の安定性と信頼性をどの程度向上させるか？

主な発見

• 異なるVLMは質問テンプレートに対して異なる好みを示しており、すべてのモデルに最適なユニバーサルテンプレートは存在しないことが判明した。
• 画像キャプションを追加の文脈として組み込むことで、複数のモデルとベンチマークでVQA性能が顕著に向上した。これは、画像が直接視認可能であるにもかかわらず顕著な向上が得られた。
• 標準的な思考の連鎖プロンプトは性能を低下させたが、自己一貫性のあるCoT（30サンプル、過半数投票）により、性能はほぼベースライン水準まで回復した。
• テキストのみのフェイントショット例は、特にLLaVa や Kosmos2 のような冗長なゼロショット出力を示すモデルのタスクフォーマットへの整合性を向上させたが、LLM前処理を適用した場合にはその効果が薄れた。
• LLMガイド付き前処理により、特に冗長な出力の傾向があるモデル（例：LLaVa）の指標の不正確さが是正され、全モデルで評価の安定性が向上した。これにより、従来の指標が真の性能を正しく反映していないことが明らかになった。
• Winoground-VQAベンチマークは、大多数のVLMに顕著な課題を露呈し、視覚的言語的構成性および分布シフト下での推論における限界を示した。

Figure 4 : Example images from the AOKVQA dataset with their respective Q&A.