[論文レビュー] Open-Sora: Democratizing Efficient Video Production for All

Z. Zheng, Xiangyu Peng+7 more|arXiv (Cornell University)|Dec 29, 2024

Urban Planning and Valuation被引用数 10

ひとこと要約

Open-Sora は、テキストから画像、テキストから動画、画像から動画のタスクをサポートするオープンソースの拡散モデルで、Spatial-Temporal Diffusion Transformer とコンパクトな 3D オートエンコーダを用いて、最大で 16 秒の 720p 動画を実現します。

ABSTRACT

Vision and language are the two foundational senses for humans, and they build up our cognitive ability and intelligence. While significant breakthroughs have been made in AI language ability, artificial visual intelligence, especially the ability to generate and simulate the world we see, is far lagging behind. To facilitate the development and accessibility of artificial visual intelligence, we created Open-Sora, an open-source video generation model designed to produce high-fidelity video content. Open-Sora supports a wide spectrum of visual generation tasks, including text-to-image generation, text-to-video generation, and image-to-video generation. The model leverages advanced deep learning architectures and training/inference techniques to enable flexible video synthesis, which could generate video content of up to 15 seconds, up to 720p resolution, and arbitrary aspect ratios. Specifically, we introduce Spatial-Temporal Diffusion Transformer (STDiT), an efficient diffusion framework for videos that decouples spatial and temporal attention. We also introduce a highly compressive 3D autoencoder to make representations compact and further accelerate training with an ad hoc training strategy. Through this initiative, we aim to foster innovation, creativity, and inclusivity within the community of AI content creation. By embracing the open-source principle, Open-Sora democratizes full access to all the training/inference/data preparation codes as well as model weights. All resources are publicly available at: https://github.com/hpcaitech/Open-Sora.

研究の動機と目的

• 高品質な動画生成へのアクセスを民主化するため、トレーニングコード、データ処理パイプライン、モデル重みを提供する。
• Sora に着想を得た技術を再現・拡張し、制御可能な動画生成を可能にする。
• トレーニング/推論コストを削減する効率的なアーキテクチャ（STDiT）と圧縮戦略を開発する。
• マルチ解像度およびマルチアスペクト比の動画生成をサポートし、下流タスクの柔軟性を最大化する。

提案手法

• 空間・時間のアテンションを分離する Spatial-Temporal Diffusion Transformer（STDiT）を導入する。
• 4x の時系列圧縮を実現する動画データを圧縮する3Dオートエンコーダを、時間的忠実性を保つために2D VAE から初期化して用いる。
• PixArt-α の事前学習済み画像生成モデルから初期化し、時間的アテンションをゼロ初期化の射影で追加する。
• 半精度学習での安定性を向上させるためにRoPE を時間的アテンションに適用し、QK 正規化を用いる。
• 画像/動画の conditioning に基づくマスキング戦略を適用し、キャプションに美的、動き、カメラの動きといった conditioning スコアを付加する。
• 多様な解像度とアスペクト比に効率的に対応するバケットベースのマルチ解像度訓練スキームを採用する。
• コストと性能のバランスを取るために、段階的に高品質なデータセットと解像度を用いたマルチステージ訓練カリキュラムを利用する。

実験結果

リサーチクエスチョン

• RQ1 Open-Sora は、オープンソースの拡散ベースの動画生成技術を再現・拡張して、720p で最大 16 秒の高品質な動画を生成できるか。
• RQ2 オープンソースの動画拡散モデルにとって、品質・速度・リソース使用のバランスを最適化するアーキテクチャと訓練戦略は何か。
• RQ3 美的、動き、カメラの動きといった conditioning 信号は、テキストから動画生成の制御性をどのように高めるか。
• RQ4 解像度とアスペクト比の柔軟な動画生成を可能にするためのデータ前処理とマルチ解像度戦略は何か。

主な発見

• Open-Sora は VBench でオープンソース動画生成の最先端の性能を達成し、総合・品質・意味論スコアの複数のベースラインを上回った。
• Open-Sora バージョン 1.2 は総合 VBench スコア 79.76 を獲得し、品質 81.35・意味論 73.39 を達成した。
• VBench で比較されたモデルには CogVideo（総合 67.01）、Latte（総合 77.29）、LaVie（総合 77.08）、Show-1（総合 78.93）、および複数の Open-Sora 計画バリアントが含まれる。
• バケットベースのマルチ解像度訓練戦略は、計算効率と多様な動画フォーマットのバランスを効果的に取る。
• 3D オートエンコーダの4x 時間圧縮は FPS を維持しつつ、品質を保ちながら訓練/推論コストを削減する。