[论文解读] Compositional Chain-of-Thought Prompting for Large Multimodal Models

Chancharik Mitra, Brandon Huang+2 more|arXiv (Cornell University)|Nov 27, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出组合思维链（CCoT），一种零样本提示方法，通过从图像和任务中生成场景图来增强大型多模态模型（LMMs）的组合视觉推理能力。在无需微调或真实场景图标注的情况下，CCoT显著提升了Winoground和WHOOPS！等组合基准以及MMBench和SEEDBench等通用多模态基准的表现。

ABSTRACT

The combination of strong visual backbones and Large Language Model (LLM) reasoning has led to Large Multimodal Models (LMMs) becoming the current standard for a wide range of vision and language (VL) tasks. However, recent research has shown that even the most advanced LMMs still struggle to capture aspects of compositional visual reasoning, such as attributes and relationships between objects. One solution is to utilize scene graphs (SGs)--a formalization of objects and their relations and attributes that has been extensively used as a bridge between the visual and textual domains. Yet, scene graph data requires scene graph annotations, which are expensive to collect and thus not easily scalable. Moreover, finetuning an LMM based on SG data can lead to catastrophic forgetting of the pretraining objective. To overcome this, inspired by chain-of-thought methods, we propose Compositional Chain-of-Thought (CCoT), a novel zero-shot Chain-of-Thought prompting method that utilizes SG representations in order to extract compositional knowledge from an LMM. Specifically, we first generate an SG using the LMM, and then use that SG in the prompt to produce a response. Through extensive experiments, we find that the proposed CCoT approach not only improves LMM performance on several vision and language VL compositional benchmarks but also improves the performance of several popular LMMs on general multimodal benchmarks, without the need for fine-tuning or annotated ground-truth SGs. Code: https://github.com/chancharikmitra/CCoT

研究动机与目标

• 提升大型多模态模型（LMMs）在组合视觉推理方面的能力，特别是对物体属性和关系的理解。
• 解决LMMs将图像视为'物体集合'而非结构化场景的局限性。
• 开发一种利用场景图但无需标注场景图数据集或模型微调的提示方法。
• 通过一种高效利用token、可泛化的策略，提升LMM在组合与通用多模态基准上的表现。
• 实现零样本、可扩展且与架构无关的提示方法，从预训练LMM中提取更深层次的组合知识。

提出的方法

• 首先，LMM利用其内部推理能力，从输入图像和任务提示（如问题）中生成场景图，提取对象、属性和关系。
• 其次，LMM再次被提示，输入为图像、生成的场景图和原始任务提示，以生成最终答案。
• 该方法采用两步提示流水线：先生成场景图，再生成答案，整个过程在单个大语言模型推理上下文中完成。
• 场景图作为中间结构化表示，通过明确展示关系和属性，引导LLM实现组合推理。
• 该方法避免微调，防止灾难性遗忘，不更新模型权重，完全依赖提示工程。
• 由于场景图具有紧凑且表达力强的特性，该方法可在不同LMM架构和任务（包括VQA、图像字幕和推理）间实现泛化。

实验结果

研究问题

• RQ1 一种使用场景图的零样本提示方法是否能在不微调的情况下提升LMMs的组合推理能力？
• RQ2 通过LLMs生成场景图在提升LMMs在组合视觉推理基准表现方面有多有效？
• RQ3 使用生成的场景图是否能在MMBench和SEEDBench等通用多模态基准上带来性能提升？
• RQ4 该方法是否可应用于多种LMM架构而无需针对特定任务进行调整？
• RQ5 CCoT方法是否通过使关系和属性层面的推理更加明确，缓解了LMMs的'物体集合'偏差？

主要发现

• CCoT显著提升了LLaVA-1.5和InstructBLIP在Winoground组合推理基准上的表现，证明其对物体关系和属性的理解能力得到增强。
• 该方法在WHOOPS！VQA基准上实现了最先进的零样本性能，表明其对分布外、常识性挑战图像具有强大的泛化能力。
• CCoT在MMBench和SEEDBench等通用多模态基准上也实现了性能提升，表明其应用范围不仅限于组合推理任务。
• 该方法在无需任何微调、模型更新或依赖标注场景图数据集的情况下实现性能提升，具有可扩展性和高效性。
• 定性分析显示，CCoT生成的响应更准确且更具推理深度，尤其在需要关系理解的场景中表现更优。
• 该方法在不同LMM架构上均表现稳健，并在多种视觉与语言任务中保持高性能，证实其具备良好的泛化能力。