[論文レビュー] IdealGPT: Iteratively Decomposing Vision and Language Reasoning via Large Language Models

Haoxuan You, Zhecan Wang+6 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

IdealGPTは、視覚・言語推論を複数ラウンドの部分質問生成、VLMによる視覚的答えの取得、多段階的推論に分解する反復的でLLM駆動のフレームワークを提案する。これにより、ゼロショット推論性能が向上し、VCRでは最先端のGPT-4に類似したモデルよりも10%高い精度を達成し、SNLI-VEでは15%高い精度を達成する。信頼度に基づいた動的な反復を実行し、信頼できる答えに到達するまで繰り返す。

ABSTRACT

The field of vision-and-language (VL) understanding has made unprecedented progress with end-to-end large pre-trained VL models (VLMs). However, they still fall short in zero-shot reasoning tasks that require multi-step inferencing. To achieve this goal, previous works resort to a divide-and-conquer pipeline. In this paper, we argue that previous efforts have several inherent shortcomings: 1) They rely on domain-specific sub-question decomposing models. 2) They force models to predict the final answer even if the sub-questions or sub-answers provide insufficient information. We address these limitations via IdealGPT, a framework that iteratively decomposes VL reasoning using large language models (LLMs). Specifically, IdealGPT utilizes an LLM to generate sub-questions, a VLM to provide corresponding sub-answers, and another LLM to reason to achieve the final answer. These three modules perform the divide-and-conquer procedure iteratively until the model is confident about the final answer to the main question. We evaluate IdealGPT on multiple challenging VL reasoning tasks under a zero-shot setting. In particular, our IdealGPT outperforms the best existing GPT-4-like models by an absolute 10% on VCR and 15% on SNLI-VE. Code is available at https://github.com/Hxyou/IdealGPT

研究の動機と目的

• エンドツーエンドの視覚・言語モデルがゼロショットの多段階推論タスクにおいて抱える制限を解消すること。
• タスク固有の部分質問モデルに依存することや、単一ラウンドの推論における十分な証拠の存在を仮定するという前提を克服すること。
• 反復的で信頼度駆動の精練を通じて、視覚・言語推論における解釈可能性、モularity、耐障害性を向上させること。
• 十分な視覚的および言語的証拠が集まった時点で最終的な答えを延期することで、幻覚や誤った予測を低減すること。

提案手法

• IdealGPTは3つのLLMエージェントを採用する：部分質問を生成するQuestioner、視覚的答えを提供するAnswerer（事前学習済みVLM）、証拠を評価し次の反復を誘導するReasoner。
• フレームワークは反復的に動作する：Reasonerが自信を持てない場合、Questionerにより的を射た部分質問を生成するようプロンプトを送信して新たなラウンドを開始する。
• 各ラウンドで新たな部分答えが収集され、Reasonerがその一貫性と十分性を評価した後、継続するか最終的な答えを出力するかを判断する。
• Reasonerが最終的な答えに自信を持つか、最大反復回数に達するまでこのプロセスを繰り返す。
• システムはQuestionerおよびReasonerにGPT-4、AnswererにBLIP-2を採用し、一貫性と明確さを確保するように手動で設計されたプロンプトを用いる。
• この手法はモジュラーであり、性能を向上させるためにLLMやVLMをより強力なモデルに交換可能である。

実験結果

リサーチクエスチョン

• RQ1 反復的でLLM駆動の分解は、単一ステップのエンドツーエンドモデルよりも、ゼロショット視覚・言語推論を向上させることができるか？
• RQ2 信頼度に基づいた反復は、視覚・言語タスクにおける幻覚の低減と推論の耐障害性の向上に寄与するか？
• RQ3 AnswererとしてのVLMの選択が、反復フレームワーク内のパフォーマンスにどのように影響するか？
• RQ4 生成された画像キャプションの品質が、部分質問の生成と最終的推論にどの程度影響を与えるか？
• RQ5 動的フィードバックループを備えたモジュラーでマルチエージェントフレームワークは、固定パイプラインやエンドツーエンドVLMを上回る性能を示せるか？

主な発見

• IdealGPTは、ゼロショット設定下で、既存の最良のGPT-4に類似したモデルよりもVCRベンチマークで絶対値10%高い精度を達成した。
• IdealGPTは、ゼロショット評価において、SNLI-VEベンチマークで最先端のモデルよりも15%の絶対的改善を達成した。
• 反復的分解機構により、1回のパス（max_iterations=1）の設定と比較して、正確性が最大6%向上し、1サンプルあたり平均1.8回の反復が行われた。
• BLIP-2は、キャプション生成能力が強いにもかかわらず、部分答え生成における幻覚率が低いため、MiniGPT4 や LLaVA よりも優れた性能を示した。
• MiniGPT4 および LLaVA はより長く情報量の多いキャプションを生成するが、正確性は低く、Questioner や Reasoner を誤導し、全体のパフォーマンスを低下させた。
• アブレーションスタディにより、画像キャプションの品質が下流の推論に顕著に影響することが確認され、より短く、控えめなキャプションがより良い結果をもたらした。