[论文解读] MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks

Xiaocui Yang, Wenfang Wu+8 more|arXiv (Cornell University)|Oct 13, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了MM-BigBench，一个针对多模态大语言模型（MLLMs）在多模态内容理解任务上的综合性评估框架。该框架引入了新型指标——最佳性能、平均相对增益、稳定性与适应性，用于评估14个数据集和6项任务中模型与指令的表现，结果显示InstructBLIP和BLIP-2表现最佳，而指令设计显著影响模型的敏感性与适应性。

ABSTRACT

The popularity of multimodal large language models (MLLMs) has triggered a recent surge in research efforts dedicated to evaluating these models. Nevertheless, existing evaluation studies of MLLMs primarily focus on the comprehension and reasoning of unimodal (vision) content, neglecting performance evaluations in the domain of multimodal (vision-language) content understanding. Beyond multimodal reasoning, tasks related to multimodal content comprehension necessitate a profound understanding of multimodal contexts, achieved through the multimodal interaction to obtain a final answer. In this paper, we introduce a comprehensive assessment framework called MM-BigBench, which incorporates a diverse range of metrics to offer an extensive evaluation of the performance of various models and instructions across a wide spectrum of diverse multimodal content comprehension tasks. Consequently, our work complements research on the performance of MLLMs in multimodal comprehension tasks, achieving a more comprehensive and holistic evaluation of MLLMs. To begin, we employ the Best Performance metric to ascertain each model's performance upper bound on different datasets. Subsequently, the Mean Relative Gain metric offers an assessment of the overall performance of various models and instructions, while the Stability metric measures their sensitivity. Furthermore, previous research centers on evaluating models independently or solely assessing instructions, neglecting the adaptability between models and instructions. We propose the Adaptability metric to quantify the adaptability between models and instructions. Our paper evaluates a total of 20 language models (14 MLLMs) on 14 multimodal datasets spanning 6 tasks, with 10 instructions for each task, and derives novel insights. Our code will be released at https://github.com/declare-lab/MM-BigBench.

研究动机与目标

• 为解决在传统视觉-语言推理之外的多模态内容理解任务中对MLLMs评估的不足。
• 开发一个统一的评估框架，以捕捉在多样化多模态任务中模型与指令的表现。
• 量化模型与指令之间的适应性，这一维度在以往评估中被忽视。
• 在14个多模态数据集上提供20个模型（14个MLLMs）的基准结果，涵盖6项任务。
• 为细粒度情感与关系分类任务中模型敏感性、稳定性及指令有效性提供洞见。

提出的方法

• 提出综合性评估框架MM-BigBench，整合多种指标以评估MLLM在多模态内容理解任务中的表现。
• 引入“最佳性能”指标，用于确定每个模型在单个数据集上的上限表现。
• 采用“平均相对增益”指标，评估模型与指令在各项任务中的整体表现，衡量相对于基线的相对提升。
• 使用“稳定性”指标量化模型对指令变化的敏感性，数值越低表示鲁棒性越高。
• 引入“适应性”指标，用于衡量特定模型与特定指令配对时的性能增益程度。
• 在14个数据集和每项任务10种指令下，评估20个模型（14个MLLMs），涵盖6项不同的多模态理解任务。

实验结果

研究问题

• RQ1 不同MLLMs在超越标准VQA的多样化多模态内容理解任务中表现如何？
• RQ2 指令设计对模型表现有何影响，哪些指令能产生最一致的结果？
• RQ3 MLLMs在不同指令下的表现是否稳定，哪些模型对指令变化的敏感性最低？
• RQ4 模型-指令配对在多大程度上可被优化以最大化性能，哪些组合最有效？
• RQ5 在粗粒度与细粒度分类任务（如MOSI-2与MOSI-7）之间，性能趋势有何差异？

主要发现

• InstructBLIP与BLIP-2在带文本上下文的VQA任务中分别取得最高的平均相对增益（143.86与148.67），表明其整体表现优异。
• ChatGPT在MOSI-2与MOSI-7数据集上取得最佳个体表现，但表现出较高敏感性，其在MOSI-7上的稳定性得分为2.17，表明在不同指令下表现不一致。
• 指令#2（采用带‘选项’的问答格式）在大多数数据集上表现最佳，包括在MOSI-7上实现56.91的平均相对增益。
• ‘适应性’指标显示，模型与指令的配对显著影响性能，InstructBLIP对特定指令展现出强适应性。
• Flan-T5-XXL在MOSI-2上表现出高稳定性（得分为0.73）且在各类指令下表现一致，其鲁棒性优于ChatGPT。
• 在细粒度数据集（如MOSI-7、MOSEI-7）上，性能波动更大，稳定性得分超过3.0，表明对指令与模型选择更为敏感。