[论文解读] MLVU: Benchmarking Multi-task Long Video Understanding

Junjie Zhou, Yan Shu+10 more|arXiv (Cornell University)|Jun 6, 2024

Human Pose and Action Recognition被引用 4

一句话总结

本文提出 MLVU，一个全面的多任务长视频理解基准，通过引入时长为3至120分钟的长视频、涵盖电影、监控、第一视角、动画和游戏视频等多种视频类型，以及九项多样化的评估任务，解决了现有数据集的局限性。对20个 MLLM 的实证评估显示，随着视频长度增加，性能显著下降，即使 GPT-4o 在多项选择任务上的平均准确率也仅达到64.6%，凸显了长上下文推理与全局视频理解方面的重大挑战。

ABSTRACT

The evaluation of Long Video Understanding (LVU) performance poses an important but challenging research problem. Despite previous efforts, the existing video understanding benchmarks are severely constrained by several issues, especially the insufficient lengths of videos, a lack of diversity in video types and evaluation tasks, and the inappropriateness for evaluating LVU performances. To address the above problems, we propose a new benchmark called MLVU (Multi-task Long Video Understanding Benchmark) for the comprehensive and in-depth evaluation of LVU. MLVU presents the following critical values: extit{1)} The substantial and flexible extension of video lengths, which enables the benchmark to evaluate LVU performance across a wide range of durations. extit{2)} The inclusion of various video genres, e.g., movies, surveillance footage, egocentric videos, cartoons, game videos, etc., which reflects the models' LVU performances in different scenarios. extit{3)} The development of diversified evaluation tasks, which enables a comprehensive examination of MLLMs' key abilities in long-video understanding. The empirical study with 23 latest MLLMs reveals significant room for improvement in today's technique, as all existing methods struggle with most of the evaluation tasks and exhibit severe performance degradation when handling longer videos. Additionally, it suggests that factors such as context length, image-understanding ability, and the choice of LLM backbone can play critical roles in future advancements. We anticipate that MLVU will advance the research of long video understanding by providing a comprehensive and in-depth analysis of MLLMs.

研究动机与目标

• 为解决当前缺乏支持多样化视频时长、类型和评估任务的综合性长视频理解（LVU）基准的问题。
• 克服现有基准的局限性，这些基准通常使用短时视频（几秒钟）、集中于单一视频类型，或包含不需长上下文推理的简单任务。
• 实现对多模态大语言模型（MLLM）在长视频中推理、摘要和动作识别等多方面理解能力的统一、深入评估。
• 识别影响 MLLM 在 LVU 中表现的关键因素，包括上下文长度、图像理解质量以及 LLM 主干网络的选择。
• 提供一个公开可用、可扩展的基准，以加速长视频理解领域的研究进展。

提出的方法

• 基准基于时长从3分钟到2小时不等的长视频构建，平均时长为12分钟，以支持在不同时间跨度下的评估。
• 将视频分割为多个片段（例如前3分钟、前6分钟及完整时长），以支持在不同时间范围内的任务评估。
• 数据集包含九项多样化评估任务，如多项选择题问答、自由形式字幕生成、动作计数和时间顺序排序，涵盖推理、识别与摘要任务。
• 任务设计要求使用局部片段级信息或全局视频级上下文，以确保对 MLLM 能力的全面评估。
• 通过精心策划的注释流程，最小化版权风险，包括降低分辨率、调整画面比例，必要时进行帧稀疏化处理。
• 该基准已在 GitHub 和 Hugging Face 上以 CC-BY-NC-SA 4.0 许可协议公开发布，支持未来更新与社区贡献。

实验结果

研究问题

• RQ1 当视频长度超过10分钟时，当前 MLLM 在长视频理解任务上的表现如何？
• RQ2 MLLM 在需要全局视频上下文的任务（如动作计数或时间顺序排序）上面临多大程度的困难？
• RQ3 LLM 主干网络的选择与模型上下文长度如何影响长视频理解任务的性能？
• RQ4 在长视频理解任务中，专有模型与开源 MLLM 之间的性能差距有多大？
• RQ5 不同视频类型（如监控、第一视角、动画）如何影响 MLLM 的性能与泛化能力？

主要发现

• 在20个评估的 MLLM 中，GPT-4o 表现最佳，多项选择任务的平均准确率达到64.6%，表明仍有巨大提升空间。
• 所有 MLLM 随着视频长度增加均出现严重性能下降，尤其在需要细粒度、长距离推理的任务上。
• 动作计数、时间顺序排序和视频摘要等任务对所有模型而言均持续具有挑战性，表明其在长上下文理解方面存在局限。
• 尽管开源 MLLM 在单图任务中表现良好，但在长视频理解任务中显著落后于 GPT-4o 等专有模型。
• 上下文长度和图像理解质量被确定为影响 MLLM 性能的关键因素，图像编码器质量较差会导致性能明显下降。
• 该基准揭示，许多现有任务并不适合用于评估 LVU，因为它们仅依赖单帧或文本线索即可解决，而无需真正的长距离视频理解。