[论文解读] CoCoT: Contrastive Chain-of-Thought Prompting for Large Multimodal Models with Multiple Image Inputs

Daoan Zhang, Junming Yang+5 more|arXiv (Cornell University)|Jan 5, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

CoCoT 是一种新颖的对比性思维链提示方法，通过在回答前显式引导模型比较多幅图像的异同，显著提升大型多模态模型对多图像的理解能力。该方法在多图像推理任务中表现优异，实现了开源与闭源模型（如 GPT-4V 和 MMICL）的最先进性能。

ABSTRACT

When exploring the development of Artificial General Intelligence (AGI), a critical task for these models involves interpreting and processing information from multiple image inputs. However, Large Multimodal Models (LMMs) encounter two issues in such scenarios: (1) a lack of fine-grained perception, and (2) a tendency to blend information across multiple images. We first extensively investigate the capability of LMMs to perceive fine-grained visual details when dealing with multiple input images. The research focuses on two aspects: first, image-to-image matching (to evaluate whether LMMs can effectively reason and pair relevant images), and second, multi-image-to-text matching (to assess whether LMMs can accurately capture and summarize detailed image information). We conduct evaluations on a range of both open-source and closed-source large models, including GPT-4V, Gemini, OpenFlamingo, and MMICL. To enhance model performance, we further develop a Contrastive Chain-of-Thought (CoCoT) prompting approach based on multi-input multimodal models. This method requires LMMs to compare the similarities and differences among multiple image inputs, and then guide the models to answer detailed questions about multi-image inputs based on the identified similarities and differences. Our experimental results showcase CoCoT's proficiency in enhancing the multi-image comprehension capabilities of large multimodal models.

研究动机与目标

• 探究大型多模态模型（LMMs）在多幅图像间进行细粒度感知与信息融合时的局限性。
• 解决缺乏有效提示策略以引导 LMMs 联合推理多输入信息的问题。
• 开发一种提示方法，增强 LMMs 从多幅图像中提取并总结详细视觉关系的能力。
• 在多种开源与闭源 LMM 上评估所提方法的有效性。

提出的方法

• CoCoT 引入两阶段提示流程：首先，模型识别多幅输入图像之间的异同。
• 该方法利用对比推理突出关键视觉差异，减少信息混杂，提升对相关细节的关注。
• 将思维链推理与视觉对比相结合，引导对图像对的逐步分析。
• 提示框架无需微调即可直接应用于现有 LMM，实现即插即用。
• 设计为模块化结构，兼容多种 LMM 架构，包括 GPT-4V、Gemini、OpenFlamingo 和 MMICL。
• 通过消融研究隔离相似性与差异性提示组件的贡献。

实验结果

研究问题

• RQ1 当存在多幅输入图像时，现有大型多模态模型能否基于细粒度视觉细节准确匹配图像？
• RQ2 与标准思维链提示相比，多幅图像间的对比推理在多图像理解方面有何提升？
• RQ3 CoCoT 在多模态推理中在多大程度上减少了信息混杂并提升了对关键视觉差异的关注？
• RQ4 CoCoT 的性能提升是否在多种开源与闭源 LMM 上具有泛化能力？
• RQ5 在 CoCoT 提示框架中，识别相似性与识别差异性的相对贡献如何？

主要发现

• CoCoT 显著提升了多图像到文本匹配的准确性，在 MMICL 上达到 77.00%，在 Gemini 上达到 77.80%，优于基线方法。
• 在 GPT-4V 上，CoCoT 将组得分从 37.75% 提升至 44.50%，表明图像与文本理解之间对齐能力更强。
• 消融研究显示，同时使用相似性与差异性提示可获得最佳性能，MMICL 在两者均启用时达到 77.00%。
• Gemini 的性能从 25.00% 提升至 27.75%，但依然低于其他模型，表明其在总结细粒度视觉信息方面存在局限。
• OpenFlamingo 和 MMICL 在 CoCoT 下获得最显著的性能提升，表明该方法在开源模型上具有极强的兼容性与有效性。
• 人类表现仍显著更高（组得分为 85.50%），凸显当前模型与人类水平感知能力之间的差距。