[论文解读] A Survey of Multimodal Large Language Model from A Data-centric Perspective

Tianyi Bai, Hao Liang+13 more|arXiv (Cornell University)|May 26, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本综述对多模态大语言模型（MLLMs）进行了全面的数据中心分析，聚焦于视觉、音频、文本和视频模态的数据收集、整理、质量与评估。研究提出，通过提升数据量、质量和结构的迭代式数据优化可显著提升MLLM性能，为超越模型架构优化的数据集开发与基准测试提供系统性框架。

ABSTRACT

Multimodal large language models (MLLMs) enhance the capabilities of standard large language models by integrating and processing data from multiple modalities, including text, vision, audio, video, and 3D environments. Data plays a pivotal role in the development and refinement of these models. In this survey, we comprehensively review the literature on MLLMs from a data-centric perspective. Specifically, we explore methods for preparing multimodal data during the pretraining and adaptation phases of MLLMs. Additionally, we analyze the evaluation methods for the datasets and review the benchmarks for evaluating MLLMs. Our survey also outlines potential future research directions. This work aims to provide researchers with a detailed understanding of the data-driven aspects of MLLMs, fostering further exploration and innovation in this field.

研究动机与目标

• 为解决MLLMs中数据中心方法缺乏全面研究的问题，特别是超越模型架构改进的方面。
• 探究数据特征（如数量、质量与模态异质性）在预训练与微调过程中对MLLM性能的影响。
• 系统性回顾视觉、音频、文本与视频模态下现有多模态数据集与评估基准。
• 识别数据整理、数据管理与稳健评估方面的开放挑战，并提出未来研究方向。
• 通过强调迭代式数据优化而非以模型为中心的调优，为MLLMs的数据驱动创新奠定基础。

提出的方法

• 系统性地对五种模态（文本、视觉、音频、视频与3D环境）的多模态数据集进行分类与综述。
• 分析MLLMs的数据准备流程，包括预训练与微调阶段的数据收集、筛选、标注与预处理策略。
• 通过标注一致性、模态对齐与语言多样性等指标评估数据质量。
• 综述MLLMs的基准测试框架，包括VQA、VCR、Charades-STA、QVHighlight、AudioCaps、Clotho与ClothoAQA等任务特定数据集。
• 提出一个以数据为中心的框架，强调迭代式数据改进——扩展数据量、提升数据质量，并优化数据结构以增强模态对齐。
• 整合数据为中心的人工智能（DCAI）的洞见，指导数据集设计与评估，聚焦于数据作为模型性能主要驱动力。

实验结果

研究问题

• RQ1 如何在不同模态间有效收集、筛选与管理多模态数据，以支持MLLM训练？
• RQ2 数据质量、数量与模态对齐对不同任务与架构下MLLM性能的影响如何？
• RQ3 如何改进现有评估基准，以更真实地反映多模态理解与推理能力？
• RQ4 在为MLLMs构建与维护高质量、多样化且可扩展的多模态数据集方面，面临哪些关键挑战？
• RQ5 为推进超越当前以模型为中心范式的MLLMs数据中心开发，未来研究需在哪些方向发力？

主要发现

• 数据质量与数据量同等重要；经过精心整理的数据集可使小型模型达到与大型模型相当的性能。
• Charades-STA数据集支持复杂的长句语言查询，用于时序动作定位，包含13,898个训练与4,233个测试的片段-句子对。
• QVHighlight数据集提供10,000多个YouTube视频，附带与查询相关的时刻标注与显著性评分，支持视频亮点检测与时刻定位任务。
• AudioCaps包含46,000对音频-字幕，Clotho提供4,981个音频样本与24,905条字幕，支持通用音频字幕与描述任务。
• ClothoAQA提供1,991个音频文件与11,946个众包问题（含是/否与单字回答），支持音频问答评估。
• Audio-MusicAVQA包含来自9,000多个音乐表演视频的超过45,000对QA，支持在9种问题类型与33种模板下对视听场景进行时空推理。