[論文レビュー] MLVU: Benchmarking Multi-task Long Video Understanding

Junjie Zhou, Yan Shu+10 more|arXiv (Cornell University)|Jun 6, 2024

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、長時間動画（3〜120分）、多様な動画ジャンル（映画、監視映像、エゴセントリック、アニメ、ゲーム動画）および9つの異なる評価タスクを備えた、マルチタスク長時間動画理解の包括的ベンチマークであるMLVUを紹介する。20体のMLLMの実証的評価から、動画長が延びるにつれて顕著な性能低下が生じることが明らかとなり、GPT-4oですら複数選択問題で平均64.6%の正答率にとどまることが判明し、長文脈推論および全体的動画理解における大きな課題が浮き彫りになった。

ABSTRACT

The evaluation of Long Video Understanding (LVU) performance poses an important but challenging research problem. Despite previous efforts, the existing video understanding benchmarks are severely constrained by several issues, especially the insufficient lengths of videos, a lack of diversity in video types and evaluation tasks, and the inappropriateness for evaluating LVU performances. To address the above problems, we propose a new benchmark called MLVU (Multi-task Long Video Understanding Benchmark) for the comprehensive and in-depth evaluation of LVU. MLVU presents the following critical values: extit{1)} The substantial and flexible extension of video lengths, which enables the benchmark to evaluate LVU performance across a wide range of durations. extit{2)} The inclusion of various video genres, e.g., movies, surveillance footage, egocentric videos, cartoons, game videos, etc., which reflects the models' LVU performances in different scenarios. extit{3)} The development of diversified evaluation tasks, which enables a comprehensive examination of MLLMs' key abilities in long-video understanding. The empirical study with 23 latest MLLMs reveals significant room for improvement in today's technique, as all existing methods struggle with most of the evaluation tasks and exhibit severe performance degradation when handling longer videos. Additionally, it suggests that factors such as context length, image-understanding ability, and the choice of LLM backbone can play critical roles in future advancements. We anticipate that MLVU will advance the research of long video understanding by providing a comprehensive and in-depth analysis of MLLMs.

研究の動機と目的

• 長時間動画理解（LVU）の包括的ベンチマークが、多様な動画長、ジャンル、評価タスクをサポートするという欠如を解消すること。
• 既存のベンチマークに見られる制限、すなわち短時間の動画（数秒程度）の使用、特定の動画タイプへの限定、長文脈推論を要しない単純なタスクの導入を克服すること。
• マルチモーダル言語モデル（MLLM）の、推論、要約、行動認識など、複数の理解能力を統合的にかつ詳細に評価できる基盤を提供すること。
• MLLMのLVUにおける性能に影響を与える要因、特に文脈長、画像理解の質、LLMバックボーンの選択を特定すること。
• 研究を促進するため、公開可能で拡張可能なベンチマークを提供すること。

提案手法

• 本ベンチマークは、3分から2時間の長時間動画を対象とし、平均で12分の長さとして、多様な時間的スケールでの評価を可能にする。
• 動画を複数のクリップ（例：最初の3分、6分、全長）に分割することで、異なる時間的スパンでのタスク評価を可能にする。
• 評価タスクは9つあり、複数選択の質問応答、自由形式のキャプション作成、行動数え上げ、時間的順序指定など、推論、認識、要約をカバーする。
• タスクは、局所的クリップレベルの情報または全体的動画レベルの文脈を必要とするように設計され、MLLMの能力を包括的に評価する。
• 著作権リスクを最小限に抑えるために、注釈作成時に解像度の低下、アスペクト比の変更、必要に応じてフレームの間引き処理を実施する。
• 本ベンチマークはGitHubおよびHugging FaceでCC-BY-NC-SA 4.0の下で公開され、今後のアップデートや貢献をサポートする。

実験結果

リサーチクエスチョン

• RQ1 動画長が10分を超える場合、現在のMLLMは長時間動画理解タスクでどの程度の性能を示すか？
• RQ2 行動数え上げや時間的順序指定のような、全体的動画文脈を要するタスクでは、MLLMがどの程度困難を抱えるか？
• RQ3 LLMバックボーンの選択およびモデルの文脈長は、長時間動画理解タスクの性能にどのように影響するか？
• RQ4 プロprietaryモデルとオープンソースMLLMとの間には、長時間動画理解においてどの程度の性能ギャップが存在するか？
• RQ5 監視映像、エゴセントリック、アニメなど、異なる動画ジャンルはMLLMの性能と一般化能力にどのように影響を与えるか？

主な発見

• GPT-4oは20体のMLLMの中で最高の性能を示し、複数選択タスクで平均64.6%の正答率を記録した。これはさらなる改善の余地が大きいことを示している。
• すべてのMLLMが、動画長が延びるにつれて著しい性能低下を経験しており、とくに微細な長距離推論を要するタスクで顕著であった。
• 行動数え上げ、時間的順序指定、動画要約などのタスクは、すべてのモデルで一貫して困難であった。これは長文脈理解の限界を示している。
• オープンソースMLLMは、単一画像タスクでは強力な性能を示すものの、GPT-4oのようなプロプライエタリモデルに比べ、長時間動画理解で顕著に劣っていた。
• 文脈長と画像理解の質が、MLLM性能に顕著な影響を与える重要な要因であると特定された。劣った画像エンコーダーは顕著な性能低下を引き起こした。
• 本ベンチマークにより、多くの既存タスクがLVUの評価に適さないことが判明した。これらは単一フレームやテキスト的ヒントのみで解けるため、長距離動画理解を要しない。