[论文解读] IdealGPT: Iteratively Decomposing Vision and Language Reasoning via Large Language Models

Haoxuan You, Zhecan Wang+6 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

IdealGPT 提出了一种迭代式、基于大语言模型（LLM）的框架，将视觉-语言推理分解为多轮子问题生成、通过视觉语言模型（VLM）检索视觉答案以及多步推理，以提升零样本推理性能。该方法在 VCR 上比最先进的 GPT-4 类模型高出 10% 的准确率，在 SNLI-VE 上高出 15%，通过实现动态、基于置信度的迭代，直至获得可靠答案。

ABSTRACT

The field of vision-and-language (VL) understanding has made unprecedented progress with end-to-end large pre-trained VL models (VLMs). However, they still fall short in zero-shot reasoning tasks that require multi-step inferencing. To achieve this goal, previous works resort to a divide-and-conquer pipeline. In this paper, we argue that previous efforts have several inherent shortcomings: 1) They rely on domain-specific sub-question decomposing models. 2) They force models to predict the final answer even if the sub-questions or sub-answers provide insufficient information. We address these limitations via IdealGPT, a framework that iteratively decomposes VL reasoning using large language models (LLMs). Specifically, IdealGPT utilizes an LLM to generate sub-questions, a VLM to provide corresponding sub-answers, and another LLM to reason to achieve the final answer. These three modules perform the divide-and-conquer procedure iteratively until the model is confident about the final answer to the main question. We evaluate IdealGPT on multiple challenging VL reasoning tasks under a zero-shot setting. In particular, our IdealGPT outperforms the best existing GPT-4-like models by an absolute 10% on VCR and 15% on SNLI-VE. Code is available at https://github.com/Hxyou/IdealGPT

研究动机与目标

• 解决端到端视觉-语言模型在零样本、多步推理任务中的局限性。
• 克服对特定任务子问题模型的依赖以及单轮推理中假设存在充分证据的假设。
• 通过迭代式、基于置信度的优化，提升视觉-语言推理的可解释性、模块化和鲁棒性。
• 通过延迟最终答案的生成，直到收集到足够的视觉和语言证据，从而减少幻觉和虚假预测。

提出的方法

• IdealGPT 使用三个 LLM 代理：Questioner 负责生成子问题，Answerer（预训练的 VLM）负责提供视觉答案，Reasoner 负责评估证据并指导进一步迭代。
• 该框架以迭代方式运行：若 Reasoner 置信度不足，则通过提示 Questioner 生成更聚焦的子问题，触发新一轮迭代。
• 每轮迭代收集新的子答案，Reasoner 会评估其一致性和充分性，再决定是否继续或终止。
• 该过程持续进行，直到 Reasoner 对最终答案有足够信心，或达到最大迭代次数阈值。
• 系统使用 GPT-4 作为 Questioner 和 Reasoner，BLIP-2 作为 Answerer，提示词经人工精心设计以确保一致性和清晰性。
• 该方法具有模块化特性，支持用更强的 LLM 或 VLM 替换组件以进一步提升性能。

实验结果

研究问题

• RQ1 迭代式、基于 LLM 的分解能否在零样本视觉-语言推理中超越单步端到端模型？
• RQ2 基于置信度的迭代是否能减少幻觉并提升视觉-语言任务中的推理鲁棒性？
• RQ3 选择不同 VLM 作为 Answerer 如何影响该迭代框架的性能？
• RQ4 生成图像字幕的质量在多大程度上影响子问题生成和最终推理？
• RQ5 具有动态反馈回路的模块化多代理框架是否能在复杂推理任务中超越固定流水线或端到端 VLM？

主要发现

• 在零样本设置下，IdealGPT 在 VCR 基准测试中比最佳现有 GPT-4 类模型绝对提升 10% 的准确率。
• 在零样本评估中，IdealGPT 在 SNLI-VE 基准测试中比最先进模型绝对提升 15%。
• 与单次通过（max_iterations=1）设置相比，迭代式分解机制将准确率提升最高达 6%，平均每样本迭代 1.8 次。
• 尽管 MiniGPT4 和 LLaVA 具有更强的图像字幕生成能力，BLIP-2 作为 Answerer 表现更优，因其在子答案生成中幻觉率更低。
• MiniGPT4 和 LLaVA 生成的字幕更长、更富信息量，但准确性较低，导致 Questioner 和 Reasoner 被误导，从而降低整体性能。
• 消融实验确认，图像字幕质量显著影响下游推理性能，更短、更保守的字幕反而能取得更好结果。