[論文レビュー] Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering

Yu Zhou, Ouyang, Xuecheng+3 more|arXiv (Cornell University)|Mar 3, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

Prophetは、ファインチューニングされたVQAモデルから抽出・統合した補完的答えヒューリスティクス（答え候補と答えに特化した例）を、大規模言語モデル（LLM）向けの構造化プロンプトに統合することで、知識ベースの視覚質問応答（VQA）の性能を向上させる、革新的なプロンプトフレームワークを導入する。これらのヒューリスティクスを活用することで、Prophetは4つの知識ベースVQAベンチマークで顕著な精度向上を達成し、GPT-3と組み合わせた際、最先端の手法を上回る性能を発揮する。

ABSTRACT

Knowledge-based visual question answering (VQA) requires external knowledge beyond the image to answer the question. Early studies retrieve required knowledge from explicit knowledge bases (KBs), which often introduces irrelevant information to the question, hence restricting the performance of their models. Recent works have resorted to using a powerful large language model (LLM) as an implicit knowledge engine to acquire the necessary knowledge for answering. Despite the encouraging results achieved by these methods, we argue that they have not fully activated the capacity of the \emph{blind} LLM as the provided textual input is insufficient to depict the required visual information to answer the question. In this paper, we present Prophet -- a conceptually simple, flexible, and general framework designed to prompt LLM with answer heuristics for knowledge-based VQA. Specifically, we first train a vanilla VQA model on a specific knowledge-based VQA dataset without external knowledge. After that, we extract two types of complementary answer heuristics from the VQA model: answer candidates and answer-aware examples. The two types of answer heuristics are jointly encoded into a formatted prompt to facilitate the LLM's understanding of both the image and question, thus generating a more accurate answer. By incorporating the state-of-the-art LLM GPT-3, Prophet significantly outperforms existing state-of-the-art methods on four challenging knowledge-based VQA datasets. Prophet is general that can be instantiated with the combinations of different VQA models (i.e., both discriminative and generative ones) and different LLMs (i.e., both commercial and open-source ones). Moreover, Prophet can also be integrated with modern large multimodal models in different stages, which is named Prophet++, to further improve the capabilities on knowledge-based VQA tasks.

研究の動機と目的

• 既存のLLMベースのVQA手法が、視覚的およびタスク固有の文脈が不十分であるためにLLMの推論能力を十分に発揮できないという限界を是正すること。
• ファインチューニングされたVQAモデルからタスク固有のヒューリスティクスを抽出することで、LLMのプロンプトを豊かにし、知識ベースVQAの性能を向上させること。
• 判別型と生成型のさまざまなVQAモデルおよび商用・オープンソースのさまざまなLLMと互換性を持つ汎用的なフレームワークを設計すること。
• 明示的な知識ベースへの依存を減らし、整理されたヒューリスティクスに従ってLLMが暗黙の知識を効果的に活用して推論できるようにすること。
• リtrievalベースおよびLLMオンリーベースのアプローチで生じる、関係のない知識の取得や答えの不整合といった問題を軽減すること。

提案手法

• 外部知識なしで知識ベースVQAデータセット上でヴァナイルVQAモデルを訓練し、視覚的・言語的表現を学習すること。
• 2種類の補完的答えヒューリスティクスを抽出する：(1) モデルのtop-k予測から得られる答え候補、(2) 高信頼度予測から得られる答えに特化した例。
• 画像キャプション、質問、答え候補、答えに特化した例を、LLMの推論に最適化された形式で統合した構造化プロンプトを構築すること。
• 凍結された強力なLLM（例：GPT-3）を用い、視覚的および知識に特化した信号を活用して、豊かにされたプロンプトに基づいて答えを生成すること。
• ゼロショットおよびフェイシング推論をサポートするようにプロンプトを設計し、さまざまなVQAデータセットおよびLLMタイプへの一般化を可能にすること。
• 質問形式に応じてプロンプト構造を適応させることで、複数選択およびオープンエンド形式の両方の答え形式をサポートすること。

Figure 2 : Our Prophet framework has two stages: answer heuristics generation and heuristics-enhanced prompting. In the answer heuristics generation stage, a vanilla VQA model trained on specific knowledge-based VQA dataset is employed to generate two types of complementary answer heuristics, i.e. ,

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされたVQAモデルから抽出した答えヒューリスティクスは、LLMベースの知識ベースVQAの性能を向上させることができるか？
• RQ2 補完的ヒューリスティクス（答え候補と答えに特化した例）は、視覚質問応答におけるLLMの推論にどのように影響を与えるか？
• RQ3 Prophetのような汎用的プロンプトフレームワークは、多様な知識ベースVQAベンチマークでリtrievalベースおよびLLMオンリーベースのベースラインをどれほど上回ることができるか？
• RQ4 このフレームワークは、異なるVQAモデルアーキテクチャ（判別型対生成型）およびLLMタイプ（商用対オープンソース）に一般化可能か？

主な発見

• Prophetは、OK-VQA、A-OKVQA、ScienceQA、TextVQAの4つの挑戦的な知識ベースVQAベンチマークで最先端の性能を達成し、既存の手法を顕著に上回る。
• OK-VQAデータセットの「植物と動物」カテゴリでは、MCAN（52.58%から63.67%へ）と比較して11.09ポイントの精度向上を達成し、全カテゴリで一貫した向上が見られた。
• 誤った知識推論（44.1%）および視覚的理解不足（27.3%）による失敗が減少したため、推論と認識の整合性が向上したことが示された。
• 「天候と気候」カテゴリでは68.37%の精度を達成し、専門的知識分野でも優れた性能を示した。
• アブレーションスタディにより、重複する答えに対するパラメータ継承を伴う提案されたファインチューニング戦略が、標準的なファインチューニングより性能を向上させることを確認した。
• 人間による評価では、正解だが表現が異なる答えが22.8%の失敗要因であることが判明し、評価指標におけるアノテーションのばらつきの影響が浮き彫りになった。

Figure 3 : Discriminative vs. generative VQA models. Taking an image (V) and a question (Q) as inputs, a typical discriminative VQA model like MCAN [ 18 ] performs multi-class classification to predict the most relevant answer (may contain multiple words) from a predefined answer vocabulary, while a