[论文解读] LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

Feng Li, Renrui Zhang+6 more|arXiv (Cornell University)|Jul 10, 2024

Simulation and Modeling Applications被引用 21

一句话总结

LLaVA-NeXT-Interleave 将多图像、视频、3D 与单图像任务整合为交错数据格式，使用 M4-Instruct 进行训练，并在新的 LLaVA-Interleave Bench 上进行评估，在 M4 场景中达到最先进的结果，同时保持单图像性能。

ABSTRACT

Visual instruction tuning has made considerable strides in enhancing the capabilities of Large Multimodal Models (LMMs). However, existing open LMMs largely focus on single-image tasks, their applications to multi-image scenarios remains less explored. Additionally, prior LMM research separately tackles different scenarios, leaving it impossible to generalize cross scenarios with new emerging capabilities. To this end, we introduce LLaVA-NeXT-Interleave, which simultaneously tackles Multi-image, Multi-frame (video), Multi-view (3D), and Multi-patch (single-image) scenarios in LMMs. To enable these capabilities, we regard the interleaved data format as a general template and compile the M4-Instruct dataset with 1,177.6k samples, spanning 4 primary domains with 14 tasks and 41 datasets. We also curate the LLaVA-Interleave Bench to comprehensively evaluate the multi-image performance of LMMs. Through extensive experiments, LLaVA-NeXT-Interleave achieves leading results in multi-image, video, and 3D benchmarks, while maintaining the performance of single-image tasks. Besides, our model also exhibits several emerging capabilities, e.g., transferring tasks across different settings and modalities. Code is available at https://github.com/LLaVA-VL/LLaVA-NeXT

研究动机与目标

• 激励并使一个单一的大型多模态模型能够处理多图像、视频、3D 和单图像任务（M4）。
• 提出一种交错的图像-文本数据模板，将多种任务统一在一个框架下。
• 创建并整理 M4-Instruct 数据集和 LLaVA-Interleave Bench，以在跨域的训练与评估中使用。

提出的方法

• 采用 LLaVA-NeXT-Image 架构，包含视觉编码器、中间投影器和大型语言模型核心。
• 引入三种训练技术：① 从强大的单图像模型继续训练，② 混合交错数据格式（in-front 与 interleaved），③ 对四种数据场景进行联合训练（多图像、多帧、多视角、多补丁）。
• 使用 1,177.6K 条样本构建 M4-Instruct，覆盖跨 M4 域的 14 个任务和 41 个数据集；通过 GPT-4V 为新任务进行注释。
• 开发 LLaVA-Interleave Bench，包含 13 个任务和 17K 个实例，分为域内与域外评估。
• 在多图像、视频和 3D 基准上进行评估，并保持单图像性能。

实验结果

研究问题

• RQ1 在交错多图像数据上训练的单一 LMM 是否能够在多图像任务上表现具有竞争力并泛化到视频和 3D 场景？
• RQ2 交错数据格式是否能够实现跨任务迁移和跨模态的新兴能力？
• RQ3 从强大的单图像检查点初始化对多图像微调性能有何影响？
• RQ4 输入标记放置（in-front 与 interleaved）和混合格式训练对鲁棒性与任务性能有何影响？

主要发现

• LLaVA-NeXT-Interleave 在多图像基准上取得最先进的结果，同时在不同规模（0.5B、7B、14B）保持单图像性能。
• 交错数据模板和联合 M4-Instruct 训练使跨任务迁移成为可能，例如从单图像到多图像的推理以及图像到视频的任务迁移。
• 通过混合格式添加视频和多图像数据可提高总体指标和跨任务的鲁棒性。
• 该模型展现出跨设定和模态迁移等新兴能力（例如从找不同到视频，或从视频生成 Twitter 帖子）。
• LLaVA-Interleave Bench 提供了域内和域外任务的评估覆盖，突出对未见多图像场景的泛化能力。