Skip to main content
QUICK REVIEW

[논문 리뷰] MVPBench: A Multi-Video Perception Evaluation Benchmark for Multi-Modal Video Understanding

Purui Bai, Tao Wu|arXiv (Cornell University)|2026. 03. 24.
Multimodal Machine Learning ApplicationsComputer Science인용 수 0
한 줄 요약

MVPBench는 14개의 과제, 5K QA 벤치마크와 2.7K 비디오를 도입하여 다중-비디오 인식(Multimodal LLMs)에서 다중 비디오 인지 평가를 수행하고, 현재 모델이 인간에 비해 다중-비디오 이해에 어려움을 겪고 있음을 드러냅니다.

ABSTRACT

The rapid progress of Large Language Models (LLMs) has spurred growing interest in Multi-modal LLMs (MLLMs) and motivated the development of benchmarks to evaluate their perceptual and comprehension abilities. Existing benchmarks, however, are limited to static images or single videos, overlooking the complex interactions across multiple videos. To address this gap, we introduce the Multi-Video Perception Evaluation Benchmark (MVPBench), a new benchmark featuring 14 subtasks across diverse visual domains designed to evaluate models on extracting relevant information from video sequences to make informed decisions. MVPBench includes 5K question-answering tests involving 2.7K video clips sourced from existing datasets and manually annotated clips. Extensive evaluations reveal that current models struggle to process multi-video inputs effectively, underscoring substantial limitations in their multi-video comprehension. We anticipate MVPBench will drive advancements in multi-video perception.

연구 동기 및 목표

  • 다중 비디오에 걸친 지각 및 추론에 대해 MLLMs를 평가한다.
  • 시간적 접합에서 다중 비디오 품질 및 물리 법칙 추론에 이르기까지 다양한 과제를 다룬다.
  • 모델 간 비교를 위한 표준화되고 정보 이론적 평가 프레임워크를 제공한다.

제안 방법

  • 비디오 전반에 걸친 시간적, 지각적 및 고차원 추론을 포괄하는 14개 하위 과제를 설계한다.
  • 공정한 모델 간 비교를 가능하게 하기 위해 프롬프트와 비디오 역할 표기를 표준화한다.
  • 확률 기대값(우연 기초)와 정보 이득 가중치를 사용해 정규화된 능숙도 점수를 계산한다.
  • 인간 기준 평가를 수행하고 MLLM–인간 합의 확인으로 검증한다.
  • 다중 비디오 입력에서 현재 모델의 편향과 한계를 분석한다.

실험 결과

연구 질문

  • RQ1현재의 MLLMs가 다중 비디오 입력을 효과적으로 처리하고 추론할 수 있는가?
  • RQ2시간 순서화, 행동 평가, 그리고 다중 비디오 간 비교를 요구하는 과제에서 모델의 성능은 어떠한가?
  • RQ3다중 비디오 프롬프트를 다룰 때 모델은 어떤 편향이나 휴리스틱을 보이는가?
  • RQ4다중 비디오 인식 과제에서 인간과 모델 성능의 격차는 어느 정도인가?

주요 결과

  • 모델은 대부분의 하위 과제에서 인간 수행에 비해 상당한 차이를 보인다.
  • 시간적 접합과 다중 비디오 시퀀싱은 여전히 모델에게 가장 어려운 과제이다.
  • 품질 관련 과제(선명도, 밝기, 포렌식)는 혼재된 결과와 과제 간 상관관계가 약한 모습을 보인다.
  • 특정 하위 과제(다중 시야 매칭, 보행, 촬영 스타일)는 과제별 강점과 약점을 드러낸다.
  • 첫 번째 비디오에 대한 위치 편향이 관찰되며 피상적 휴리스틱에 의존하는 경향이 있음을 시사한다.
  • 절제 분석은 단일 비디오 평가가 다중 비디오 설정보다 모든 과제에서 성능이 떨어지는 것으로 나타냈다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.