Skip to main content
QUICK REVIEW

[论文解读] MVPBench: A Multi-Video Perception Evaluation Benchmark for Multi-Modal Video Understanding

Purui Bai, Tao Wu|arXiv (Cornell University)|Mar 24, 2026
Multimodal Machine Learning ApplicationsComputer Science被引用 0
一句话总结

MVPBench 引入了一个包含 14 任务、5000 条 QA 的基准,以及 2700 段视频,用于评估多模态大模型的多视频感知,揭示当前模型在多视频理解方面相较于人类的不足。

ABSTRACT

The rapid progress of Large Language Models (LLMs) has spurred growing interest in Multi-modal LLMs (MLLMs) and motivated the development of benchmarks to evaluate their perceptual and comprehension abilities. Existing benchmarks, however, are limited to static images or single videos, overlooking the complex interactions across multiple videos. To address this gap, we introduce the Multi-Video Perception Evaluation Benchmark (MVPBench), a new benchmark featuring 14 subtasks across diverse visual domains designed to evaluate models on extracting relevant information from video sequences to make informed decisions. MVPBench includes 5K question-answering tests involving 2.7K video clips sourced from existing datasets and manually annotated clips. Extensive evaluations reveal that current models struggle to process multi-video inputs effectively, underscoring substantial limitations in their multi-video comprehension. We anticipate MVPBench will drive advancements in multi-video perception.

研究动机与目标

  • 评估大模型在跨多视频的感知与推理能力。
  • 覆盖从时间拼接到多视频质量与物理规律推理等多种任务。
  • 提供一个标准化、信息论导向的跨模型比较评估框架。

提出的方法

  • 设计覆盖视频中的时间、感知与高层推理的 14 个子任务。
  • 标准化提示与视频角色标注,以实现公平的跨模型比较。
  • 使用机率基线和信息增益权重计算归一化熟练度分数。
  • 进行人类基线评估并通过大模型–人类一致性检查进行验证。
  • 分析当前模型在多视频输入中的偏差与局限性。

实验结果

研究问题

  • RQ1当前的多模态大模型是否能够有效处理并对多视频输入进行推理?
  • RQ2在需要时间序列、动作评估和跨视频比较的任务中,模型的表现如何?
  • RQ3模型在处理多视频提示时表现出哪些偏见或启发式?
  • RQ4在多视频感知任务中,人类与模型的差距有多大?

主要发现

  • 模型在大多数子任务上与人类表现存在显著差距。
  • 时间拼接和多视频序列对模型而言仍然是最具挑战性的任务。
  • 与质量相关的任务(清晰度、亮度、法医)呈现出混合结果和跨任务相关性较弱的情况。
  • 某些子任务(多视图匹配、步态、电影美学风格)显示出任务特定的优势与劣势。
  • 存在对首视频的定向偏置,表明依赖于表层启发式。
  • 消融实验显示单视频评测在大多数任务上不及多视频设置的表现。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。