[論文レビュー] VBench: Comprehensive Benchmark Suite for Video Generative Models

Ziqi Huang, Yinan He+14 more|arXiv (Cornell University)|Nov 29, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

VBenchは、動画生成モデルのための包括的で階層的なベンチマークスイートを導入し、動画品質を動きのなめらかさ、被写体の同一性の一貫性、空間的関係性など16の分離可能な次元に分解して評価する。各次元は、特化したプロンプトと自動化されたメトリクスを用いて評価され、人間の好みと強い整合性を示し、コンテンツタイプごとのモデル固有の強み・弱みを明らかにすることで、今後の動画生成研究に役立つインサイトを提供する。

ABSTRACT

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has three appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. We will open-source VBench, including all prompts, evaluation methods, generated videos, and human preference annotations, and also include more video generation models in VBench to drive forward the field of video generation.

研究の動機と目的

• 動画生成モデルのための包括的で人間の好みに整合した評価フレームワークの不足に対処すること。
• FID や IS などの既存メトリクスが人間の知覚と poorly 一致することの限界を克服すること。
• 動画品質および一貫性の複数の次元にわたる、細分化された分離可能な評価を提供すること。
• 多様なコンテンツカテゴリーやタスクにわたる動画生成モデルの体系的比較を可能にすること。
• モデル固有の強み・弱み、および動画生成と画像生成の能力の間のギャップを特定することで、今後のモデル開発を促進すること。

提案手法

• 動画品質と動画条件一貫性という2つの主要カテゴリに分類された16の異なる次元を含む階層的かつ分離可能な評価次元スイートを設計すること。
• 各次元あたり約100のテキストプロンプトのスイートを構築し、さまざまな動画生成モデルからテスト動画を生成すること。
• 各次元に特化した評価手法を開発し、自動化されたパイプラインとメトリクス固有のスコアリングメカニズムを実装すること。
• 人間の好みのアノテーションを各評価次元に対して収集し、人間の知覚との整合性を検証すること。
• 8つのコンテンツカテゴリ（例：人間、動物、建築物）を対象にモデルを評価し、コンテンツタイプによるパフォーマンスのばらつきを分析すること。
• モデル間で正規化および可視化を行い、比較分析とインサイト抽出を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 既存の動画生成メトリクスは、人間の動画品質に対する知覚とどの程度一致しているか？
• RQ2 動きのなめらかさ、同一性の一貫性、空間的関係の正確さといった細分化された次元において、異なる動画生成モデルのパフォーマンスはどのように異なるか？
• RQ3 主要な評価次元において、動画生成モデルと画像生成モデルのパフォーマンスにどのような差があるか？
• RQ4 人間 vs 建築物など、異なるコンテンツカテゴリにおいてモデルのパフォーランスはどのように変化するか？
• RQ5 自動化されたベンチマークスコアと人間の好みのアノテーションとのギャップから、どのようなインサイトが得られるか？

主な発見

• VBenchの評価結果は、全16次元において人間の好みのアノテーションと強い相関（ρ ≈ 0.75–0.85）を示し、高い人間の好みとの整合性を確認した。
• 動きのなめらかさと被写体の同一性の一貫性が最も挑戦的な次元であり、長時間の動画シーケンスにおいて多くのモデルで著しい劣化が見られた。
• 静的コンテンツ（例：建築物、風景）では動的コンテンツ（例：人間、動物）よりもパフォーマンスが高く、人間カテゴリの動画が最も高い動的度を示した。
• 被写体の同一性や空間的一致性といった次元において、動画生成モデルは画像生成モデルに常に劣っており、時間的モデリングにおける顕著なギャップを示した。
• 評価から、WebVid-10Mで学習したモデルは分布バイアスを示しており、コンテンツカテゴリごとに美意識スコアやデータ量に顕著な差が見られた。
• ベンチマークは、特定の拡散型モデルにおける時間的フレッカリングといったモデル固有の弱みを効果的に特定し、アーキテクチャ的・訓練的改善のための的確な指針を提供した。