[论文解读] Can Multimodal Large Language Models Truly Perform Multimodal In-Context Learning?

Shuo Chen, Zhen Han+7 more|arXiv (Cornell University)|Nov 29, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文研究了视觉语言模型（VLMs）中的上下文学习（ICL），发现演示中的文本信息主导了性能表现，而视觉内容由于交叉注意力机制的架构限制，影响甚微。为提升ICL性能，作者提出了MMICES——一种联合利用视觉与语言模态信号选择演示的方法，在多个VLM和基准测试中显著提升了性能。

ABSTRACT

Large Language Models (LLMs) with in-context learning (ICL) ability can quickly adapt to a specific context given a few demonstrations (demos). Recently, Multimodal Large Language Models (MLLMs) built upon LLMs have also shown multimodal ICL ability, i.e., responding to queries given a few multimodal demos, including images, queries, and answers. While ICL has been extensively studied on LLMs, its research on MLLMs remains limited. One essential question is whether these MLLMs can truly conduct multimodal ICL, or if only the textual modality is necessary. We investigate this question by examining two primary factors that influence ICL: 1) Demo content, i.e., understanding the influences of demo content in different modalities. 2) Demo selection strategy, i.e., how to select better multimodal demos for improved performance. Experiments revealed that multimodal ICL is predominantly driven by the textual content whereas the visual information in the demos has little influence. Interestingly, visual content is still necessary and useful for selecting demos to increase performance. Motivated by our analysis, we propose a simple yet effective approach, termed Mixed Modality In-Context Example Selection (MMICES), which considers both visual and language modalities when selecting demos. Extensive experiments are conducted to support our findings and verify the improvement brought by our method. Code is available at \url{https://chenxshuo.github.io/m-icl/}.

研究动机与目标

• 探究视觉语言模型（VLMs）在多模态上下文学习（ICL）演示中，视觉与文本信息的相对贡献。
• 理解为何演示中的视觉信息对ICL性能影响有限。
• 开发一种更有效的演示选择策略，联合利用视觉与语言模态以提升ICL性能。
• 在多种VLM和视觉语言基准上验证所提方法。

提出的方法

• 提出混合模态上下文示例选择（MMICES），一种两阶段演示选择方法：首先基于视觉相似性筛选候选，再通过语言模态进行排序。
• 利用视觉嵌入相似性在语言排序前预筛选潜在演示候选。
• 应用对比语言建模，基于文本内容计算查询与候选演示之间的相关性得分。
• 在统一选择流程中整合视觉与文本信号，确保所选演示在语义和视觉上均与查询相关。
• 在多个视觉语言任务上评估该方法，包括视觉问答（VQA）、GQA和COCO图像字幕生成，涵盖OpenFlamingo和IDEFICS等不同VLM。
• 在少样本（4-shot与8-shot）设置下，将MMICES与随机选择和RICES（仅语言基线）进行对比。

Figure 1 : In-context learning (2-shot) on visual question answering. Pre-trained VLMs can perform In-context Learning for a given query based on a few context demonstrations ( i.e . , a list of images, questions, and answers) selected from a support set.

实验结果

研究问题

• RQ1 在视觉语言模型中，视觉或文本模态哪一个在决定上下文学习性能方面起更显著作用？
• RQ2 尽管视觉信息是输入的一部分，为何其在演示中对ICL性能影响甚微？
• RQ3 一种同时考虑视觉与语言模态的演示选择策略，能否提升VLM中的ICL性能？
• RQ4 模型内部注意力机制如何限制早期演示中视觉标记的影响？
• RQ5 所提出的MMICES方法是否在不同VLM架构和下游任务中均能持续提升ICL性能？

主要发现

• 演示中的文本信息是VLM中上下文学习性能的主要驱动因素，去除或破坏文本会导致性能显著下降。
• 将演示中的图像替换为空白图像后，性能几乎无变化，表明视觉内容对ICL的贡献微乎其微。
• 交叉注意力层中的图像掩码机制限制了生成过程中对视觉标记的直接访问，从而限制了先前演示图像的影响。
• 模型内部状态分析表明，演示中的视觉特征对最终输出几乎没有或没有直接影响，而文本嵌入则显著影响注意力与生成过程。
• MMICES在所有评估的模型和数据集上均优于随机选择和RICES，尤其在低样本（4-shot与8-shot）设置下表现更优。
• MMICES在较小模型（如OpenFlamingo）上也实现了稳定的性能提升，表明其在参数效率关键场景下尤为有效。

Figure 2 : The ICL performance is almost the same when removing the visual information in the demonstration. Compared to the standard scenario, exclusion and replacement of images in the demonstration hardly impact the In-Context Learning performance (as shown in the first three bars of each sub-fig