[論文レビュー] From Sora What We Can See: A Survey of Text-to-Video Generation

Rui Sun, Yumin Zhang+7 more|arXiv (Cornell University)|May 17, 2024

Video Analysis and Summarization被引用数 4

ひとこと要約

本調査では、テキストから動画を生成する（T2V）技術について、OpenAIのSoraを分解して分析し、進化する生成モデル、優れた動画生成（継続時間、解像度、品質）、現実的で包括的な動画生成（動き、複雑さ、レイアウト）という3つの次元で分類することで、包括的な分析を提供している。主なモデル、データセット、評価指標をレビューし、T2V生成における重要な課題と今後の研究の方向性を特定している。

ABSTRACT

With impressive achievements made, artificial intelligence is on the path forward to artificial general intelligence. Sora, developed by OpenAI, which is capable of minute-level world-simulative abilities can be considered as a milestone on this developmental path. However, despite its notable successes, Sora still encounters various obstacles that need to be resolved. In this survey, we embark from the perspective of disassembling Sora in text-to-video generation, and conducting a comprehensive review of literature, trying to answer the question, extit{From Sora What We Can See}. Specifically, after basic preliminaries regarding the general algorithms are introduced, the literature is categorized from three mutually perpendicular dimensions: evolutionary generators, excellent pursuit, and realistic panorama. Subsequently, the widely used datasets and metrics are organized in detail. Last but more importantly, we identify several challenges and open problems in this domain and propose potential future directions for research and development.

研究の動機と目的

• テキストから動画を生成する（T2V）技術の文献を体系的にレビューし、先進的な動画生成のベンチマークとしてOpenAIのSoraを分析すること。
• 進化する生成モデル、優れた動画生成（継続時間、解像度、品質）、現実的で包括的な動画生成（動き、複雑さ、レイアウト）という3つの直交する次元に沿って、既存のT2V手法を分類すること。
• T2V研究で広く使われているデータセットとベンチマーク指標を整理・評価すること。
• Soraの限界によって強調された継続的な課題と未解決の問題を特定すること。
• Soraの能力と欠陥に基づいて、動画生成を通じて人工汎用知能の発展を支援する根拠に基づいた今後の研究の方向性を提言すること。

提案手法

• 本調査は多次元的な文献レビューを実施し、生成モデルの進化（GAN/VAE、自己回帰型、拡散ベース）、動画の優れた特性（継続時間、解像度、品質）、現実性（動きの整合性、複雑なシーン、レイアウトの整合性）の3つに分類してT2V手法を分類している。
• Soraのアーキテクチャを分析し、特に従来のU-Netに代わる拡散変換器（DiT）モデルの使用に注目している。このアーキテクチャにより、長時間のコンテキスト処理と高精細な動画生成が可能になっている。
• T2V用のデータセットと評価指標を出典と分野ごとに評価し、品質、多様性、時間的整合性のベンチマークを含む。
• 複数の物体間での動きの整合性の欠如、物理的現実性の欠如、長時間動画生成におけるデータの希薄さといった主な課題を特定している。
• Soraの世界模倣能力からインサイトを得て、今後のデジタルツインとの統合や、規範的AIフレームワークへの応用を提言している。
• 説明可能なAI、プライバシー保護型生成、公平性、生成動画システムにおける耐障害性といった今後の研究の方向性を提言している。

実験結果

リサーチクエスチョン

• RQ1 SoraのDiTベースのアーキテクチャは、どのようにして1分間の高解像度動画生成を可能としているのか。また、従来のモデルと比較してどのような技術的利点があるのか。
• RQ2 テキストから動画を生成する技術の優れた点を定義づける主な次元は何であり、現在のモデルは継続時間、解像度、視覚的品質の観点でどのように性能を発揮しているのか。
• RQ3 複数の物体が関与する複雑なシーンにおいて、物理的に整合性があり、時間的に一貫性のある動きを生成する上で残された課題は何か。
• RQ4 テキストから動画を生成するモデルは、どのようにしてデジタルツインシステムに統合され、シミュレーションの精度とリアルタイム応答性を向上させることができるのか。
• RQ5 Soraのような先進的なT2Vモデルの責任ある開発と展開を保証するためには、どのような規範的および倫理的フレームワークが必要か。

主な発見

• Soraは、高解像度で滑らかな品質の1分間の動画生成を達成しており、従来のT2Vモデルが短時間・低解像度に限られていたのに対し、顕著な進歩を示している。
• DiT（拡散変換器）アーキテクチャにより、Soraは長大なテキストプロンプトを処理し、整合性があり高精細な動画を生成でき、従来のU-Netベースのモデルを上回っている。
• Soraの強みにもかかわらず、複数の物体間での動きの整合性に問題を抱えており、これは複数物体動画生成における主要な未解決課題を示している。
• 本調査では、特に時間的整合性や物理的妥当性の観点から、長時間動画生成のための標準化された評価指標の欠如を特定している。
• Soraの能力は、物理的事前知識を活用してデータ補完やリアルタイムシミュレーションを強化するなど、デジタルツインシステムとの統合に強く期待できる。
• 著者らは、説明可能性、プライバシー、公平性、および生成動画システムにおける倫理的利用を扱う規範的AIフレームワークの緊急の必要性を強調している。