[论文解读] MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning

Fuxiao Liu, Xiaoyang Wang+6 more|arXiv (Cornell University)|Nov 15, 2023

Speech and dialogue systems被引用 4

一句话总结

本文提出了 MMC-Instruction，一个包含 600k 个实例的多模态图表理解指令微调数据集，以及基于该数据集微调的 MMCA 视觉-语言模型，其在图表问答基准上实现了最先进性能。此外，本文还提出了 MMC-Benchmark，一个由人工标注的综合性评估套件，包含九项多样化任务，揭示了现有大模型（包括 GPT-4V）在复杂任务（如图表到表格、图表到 JSON 转换）上的显著局限性。

ABSTRACT

With the rapid development of large language models (LLMs) and their integration into large multimodal models (LMMs), there has been impressive progress in zero-shot completion of user-oriented vision-language tasks. However, a gap remains in the domain of chart image understanding due to the distinct abstract components in charts. To address this, we introduce a large-scale MultiModal Chart Instruction ( extbf{MMC-Instruction}) dataset comprising 600k instances supporting diverse tasks and chart types. Leveraging this data, we develop MultiModal Chart Assistant ( extbf{MMCA}), an LMM that achieves state-of-the-art performance on existing chart QA benchmarks. Recognizing the need for a comprehensive evaluation of LMM chart understanding, we also propose a MultiModal Chart Benchmark ( extbf{MMC-Benchmark}), a comprehensive human-annotated benchmark with nine distinct tasks evaluating reasoning capabilities over charts. Extensive experiments on MMC-Benchmark reveal the limitations of existing LMMs on correctly interpreting charts, even for the most recent GPT-4V model. Our work provides an instruction-tuning methodology and benchmark to advance multimodal understanding of charts. Code and data are available at https://github.com/FuxiaoLiu/MMC.

研究动机与目标

• 解决大型多模态模型（LMMs）在理解复杂抽象图表元素（如趋势线、图例和坐标轴标签）方面的能力缺口。
• 克服现有图表理解数据集的局限性，这些数据集通常规模小、模板化，或在语言风格和图表类型上缺乏多样性。
• 构建一个全面的、人工标注的评估基准（MMC-Benchmark），用于在超越简单问答的多样化、认知对齐任务上评估 LMMs。
• 通过使用多样化、开放式指令的数据集进行大规模指令微调，提升 LMM 在图表理解任务上的表现。
• 识别并分析当前 LMM 的持续性弱点，特别是在数据提取任务（如图表到表格、图表到 JSON 转换）上的表现，尽管其在通用视觉-语言能力上表现强劲。

提出的方法

• 构建 MMC-Instruction，一个包含 600k 个实例的数据集，利用 GPT-4 生成涵盖 9 项不同图表理解任务的多样化、自由形式、开放式指令。
• 设计 MMC-Benchmark 作为人工标注的综合性评估套件，包含 9 项子任务，包括图表信息提取、推理、主题分类以及数据格式转换（如图表到表格、图表到 JSON）。
• 开发 MMCA，一种模块化、指令微调的 LMM，基于 MMC-Instruction 进行微调，采用统一的指令微调策略，并更新视觉投影器以提升视觉-文本对齐能力。
• 采用两种评估协议：使用 ChatGPT 进行自由生成评估，以及多项选择题问答，以同时评估推理能力和事实准确性。
• 采用统一的训练策略，在微调过程中更新视觉投影器，以更好地将视觉特征整合到 LLM 的输入空间中。
• 在标准基准（如 ChartQA）和 MMC-Benchmark 上进行广泛的消融实验与对比实验，以评估在多样化图表类型和任务上的性能表现。

Figure 1: Diagram of our human-annotated MMC-Benchmark , consisting of 9 distinct tasks, various topics ( business, health, biology, engineering, etc ), free-form questions, open-ended answers, and unbounded plot types.

实验结果

研究问题

• RQ1 大规模、多样化的指令微调是否能显著提升 LMM 在多模态图表理解任务上的性能，超越零样本或少样本能力？
• RQ2 现有 LMM（包括 GPT-4V）在复杂、开放式图表理解任务（如图表到表格、图表到 JSON 转换）上的表现如何？
• RQ3 所提出的 MMC-Benchmark 在多大程度上揭示了现有基准未暴露的当前 LMM 的局限性？
• RQ4 当前 LMM 在图表理解中的主要失败模式是什么，特别是关于指令遵循和视觉特征整合方面？
• RQ5 采用大规模、多样化数据集（如 MMC-Instruction）的统一指令微调方法，能否缩小开源 LMM 与 GPT-4V 等专有模型在图表推理任务上的性能差距？

主要发现

• MMCA 在现有图表问答基准上实现了最先进性能，在 MMC-Benchmark 的全部九项任务中均显著优于现有开源 LMM。
• 即使是最先进的多模态模型 GPT-4V，在图表到表格和图表到 JSON 任务上的表现也较差，表明在数据提取准确性方面存在关键差距。
• 现有 LMM 在 MMC-Benchmark 上的整体得分远低于以往基准（如 ChartQA），这是由于问题和答案的多样性及开放式特性显著提升。
• MMC-Instruction 数据集在 MMC-Benchmark 的全部九项任务上均显著提升了基线 LMM 的性能，证明了其在指令微调中的有效性。
• 常见失败模式包括指令遵循能力差（如对比例问题回答 '是'）、视觉编码器能力弱（如基于 CLIP 的模型），以及类似 OCR 的数据提取不准确。
• 视觉编码器能力限制以及缺乏针对图表数据的精细微调，是导致性能不佳的主要原因，尤其在需要精确提取数据值的任务中。

Figure 2: The overall architecture of MMCA , which is continuously trained in two stages.