[論文レビュー] Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models

Munan Ning, Bin Zhu+6 more|arXiv (Cornell University)|Nov 27, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、動画固有の理解、先行知識に基づく質疑応答、理解/意思決定の3段階のレベルで、動画ベースの大規模言語モデル（Video-LLM）を評価する包括的ベンチマークおよびツールキットであるVideo-Benchを紹介する。8つのモデルを評価した結果、人間のような理解、特に推論や先行知識の統合において顕著な欠陥が明らかになり、現在の能力に大きなギャップが存在することが示され、今後の研究を導く手がかりが得られた。

ABSTRACT

Video-based large language models (Video-LLMs) have been recently introduced, targeting both fundamental improvements in perception and comprehension, and a diverse range of user inquiries. In pursuit of the ultimate goal of achieving artificial general intelligence, a truly intelligent Video-LLM model should not only see and understand the surroundings, but also possess human-level commonsense, and make well-informed decisions for the users. To guide the development of such a model, the establishment of a robust and comprehensive evaluation system becomes crucial. To this end, this paper proposes extit{Video-Bench}, a new comprehensive benchmark along with a toolkit specifically designed for evaluating Video-LLMs. The benchmark comprises 10 meticulously crafted tasks, evaluating the capabilities of Video-LLMs across three distinct levels: Video-exclusive Understanding, Prior Knowledge-based Question-Answering, and Comprehension and Decision-making. In addition, we introduce an automatic toolkit tailored to process model outputs for various tasks, facilitating the calculation of metrics and generating convenient final scores. We evaluate 8 representative Video-LLMs using extit{Video-Bench}. The findings reveal that current Video-LLMs still fall considerably short of achieving human-like comprehension and analysis of real-world videos, offering valuable insights for future research directions. The benchmark and toolkit are available at: \url{https://github.com/PKU-YuanGroup/Video-Bench}.

研究の動機と目的

• 動画認識を超えた多段階理解を捉える統一的かつ包括的な評価フレームワークの欠如に応えること。
• 共通の推論、先行知識の統合、長時間のシーケンス理解において、現在のVideo-LLMの能力に顕著なギャップが存在することを特定すること。
• 確率マッピングとLLMベースの意味的評価を用いて、モデル出力の効率的かつ正確なスコア付けを可能にする自動評価ツールキットの開発。
• モデルアーキテクチャ、トレーニングデータサイズ、モジュール設計の影響についての実証的知見を提供することで、今後の研究を導くこと。

提案手法

• 3つの評価レベル（動画固有の理解、先行知識に基づくQA、理解/意思決定）にまたがる10のタスクを含むベンチマークを設計。例：動画固有の理解（要約、異常検出）、先行知識ベースのQA（NBA、音楽ビデオ）、理解/意思決定（3次元シーン理解、自動運転）。
• 確率ベースの選択とLLMベースの意味的類似度を用いて、モデルが出力するテキストを正解にマッピングする自動評価ツールキットを実装。
• 確率ベース、T5ベース、GPTベースの複数のメトリクスを用いて出力の正確性を評価。GPTベースのメトリクスは、オープンエンドおよび可変長出力において優れた信頼性を示した。
• 8つのオープンソースのVideo-LLMを比較分析し、視覚エンコーダー、時系列モジュール、音声エンコーダー、および事前学習・指示微調整におけるデータサイズの影響を評価。
• モデルアーキテクチャ、モジュール構成（例：時系列または音声モジュールの有無）およびデータサイズの影響を多角的に分析し、パフォーマンス要因を特定。
• GPTベースのメトリクスを活用して長文出力を評価した結果、現在のモデルは流暢なテキストを生成するが、しばしば誤りまたは関連性のない回答となることが判明。

実験結果

リサーチクエスチョン

• RQ1 現在のVideo-LLMは、時間的推論や文脈認識を要するタスクにおいて、どの程度人間並みの動画内容理解を達成しているか？
• RQ2 動画に表示される内容を超えた外部の先行知識（例：スポーツ、音楽、文化的文脈）を、Video-LLMはどの程度効果的に統合できるか？
• RQ3 時系列モジュールや音声エンコーダーなどのアーキテクチャ的要素が、異なる理解レベルにおけるVideo-LLMのパフォーマンスに与える影響は何か？
• RQ4 事前学習および指示微調整におけるデータサイズの影響は、特に動画固有の理解においてどのように現れるか？
• RQ5 確率ベース、T5ベース、GPTベースのうち、どのメトリクスがオープンエンドおよびマルチターン設定におけるVideo-LLM出力の正しさを最も信頼性高く測定できるか？

主な発見

• 基本的な先行知識を要する代表的な選択肢形式の質問において、唯一Video-ChatGPTが正解を提示した。これは、単純な外部知識の統合に失敗する傾向が広く存在することを示している。
• GPTベースのメトリクスは、パrameter数が少なく出力が不安定なモデルにおいても、確率およびT5ベースのメトリクスを上回る性能を示した。
• 大規模な動画指示微調整データで学習されたモデル（例：Video-ChatGPT、Otter）は、画像データで学習されたモデルや最小限の微調整しか行わないモデルを著しく上回った。これは、動画固有の微調整の重要性を示している。
• 事前学習データサイズはパフォーマンスにほとんど影響を及ぼさなかった。これは、現在の視覚エンコーダーがすでにマルチモodalデータで十分に事前学習されていることを示唆している。一方、指示微調整データサイズはパフォーマンスの強力な予測要因であった。
• 時系列モジュールや音声エンコーダーの導入が一貫したパフォーマンス向上をもたらさなかった。これは、現在のモジュール設計が、時系列的または音声信号を効果的に活用できていない可能性を示している。
• 現在のVideo-LLMは流暢で人間らしいテキストを生成するが、推論や事実の根拠のない回答を示す傾向があり、特に意思決定および共通の推論タスクにおいて顕著なギャップが存在する。これは、人工一般知能に向けた重要な空白を示している。