[論文レビュー] A Survey on Video Diffusion Models

Zhen Xing, Qijun Feng+6 more|arXiv (Cornell University)|Oct 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

このサーベイはAIGC時代における動画拡散モデルの最初の包括的レビューを提供し、動画生成、編集、理解の分野にわたり体系的に研究を分類している。研究手法、ベンチマーク、評価指標、未解決の課題を分析し、100以上の主要モデルを収集したリポジトリを提供しており、今後の研究におけるデータセット、効率性、評価フレームワークの重要なギャップを特定している。

ABSTRACT

The recent wave of AI-generated content (AIGC) has witnessed substantial success in computer vision, with the diffusion model playing a crucial role in this achievement. Due to their impressive generative capabilities, diffusion models are gradually superseding methods based on GANs and auto-regressive Transformers, demonstrating exceptional performance not only in image generation and editing, but also in the realm of video-related research. However, existing surveys mainly focus on diffusion models in the context of image generation, with few up-to-date reviews on their application in the video domain. To address this gap, this paper presents a comprehensive review of video diffusion models in the AIGC era. Specifically, we begin with a concise introduction to the fundamentals and evolution of diffusion models. Subsequently, we present an overview of research on diffusion models in the video domain, categorizing the work into three key areas: video generation, video editing, and other video understanding tasks. We conduct a thorough review of the literature in these three key areas, including further categorization and practical contributions in the field. Finally, we discuss the challenges faced by research in this domain and outline potential future developmental trends. A comprehensive list of video diffusion models studied in this survey is available at https://github.com/ChenHsing/Awesome-Video-Diffusion-Models.

研究の動機と目的

• 既存のレビューが主に画像生成に焦点を当てており、動画拡散モデルに特化した最新で包括的なサーベイが不足しているという点を補うため。
• 動画生成、動画編集、動画理解の3つのコア分野にわたり、動画拡散モデルの体系的概要を提供するため。
• 最近の動画拡散研究で用いられている実験設定、ベンチマークデータセット、評価指標を分析・比較するため。
• データセットの規模不足、高コストなトレーニング、不十分な評価指標といった主な課題を特定するため。
• 未解決の問題と動画拡散モデル分野における将来の開発トレンドを提示することで、今後の研究を導くため。

提案手法

• 動画生成、編集、理解のタスクに分類された100件以上の最近の動画拡散研究を体系的文献レビューした。
• 動画生成に用いられる逆方向のノイズ除去プロセスやU-Netベースのアーキテクチャを含む、拡散モデルの基礎的概念を導入した。
• WebVid、MSVD、ActivityNetといった複数のベンチマークデータセットを用いて、動画生成および編集の分野における実験設定を分析・比較した。
• Fréchet Video Distance (FVD)、Inception Score (IS)、人的評価といった既存の指標を評価し、主観的および客観的評価における限界を強調した。
• テキスト条件付き処理、フレーム単位のノイズ除去、時間的モデリング戦略といった共通の技術的コンponentsを抽出するための構造化パイプラインを採用した。
• 主要モデルとリソースの最新リストを維持するための公開GitHubリポジトリ（https://github.com/ChenHsing/Awesome-Video-Diffusion-Models）を構築した。

実験結果

リサーチクエスチョン

• RQ1 生成、編集、理解の分野における動画拡散モデルの核心的技術的進歩とアーキテクチャ設計は何か？
• RQ2 現在の動画拡散モデルは標準ベンチマークでどのように性能を発揮しているのか。また、トレーニングおよび評価プロトコルの主な差異は何か？
• RQ3 特にテキストから動画へのタスクにおいて、既存のデータセットの主な制限、特に規模、品質、アノテーションの正確性の観点から何が問題か？
• RQ4 なぜ現在のモデルは、特にオブジェクトの置き換えにおいて、時間的整合性と構造的正確性を維持できないのか？
• RQ5 動画拡散モデルにおけるトレーニング効率性、推論速度、評価指標の分野で最も深刻な課題は何か？

主な発見

• 2022年以降、特にテキストから動画への生成および動画編集分野で急激に発展した動画拡散モデルは、動画生成、編集、理解の分野で著しい進歩を遂げた。
• 強力な性能を発揮しているものの、WebVidのような既存のテキストから動画へのデータセットは、規模（1000万件）と品質（360P解像度、ウォーターマークアーチファクト）に制限があり、モデルの汎化能力を阻害している。
• FVD や IS といった既存の評価指標は、テキストから動画生成の文脈では真の動画シーケンスが存在しないため、動画品質を適切に捉えるのに不十分である。
• 多くのモデルが、構造を保持するためにソース動画のキーフレームに依存しているが、このアプローチは新しいオブジェクトを挿入する際、時間的・空間的整合性を維持できないことがしばしばある。
• 時間的整合性の欠如は、特に人間を動物に置き換えるような複雑なエンティティの編集において深刻な問題となっており、モデルが長距離時間的推論を正確に行えないことを示している。
• トレーニングコストは依然として非常に高く、一部のモデルでは数百のGPUが必要であり、より効率的なトレーニングおよび推論戦略の開発が急務である。