[論文レビュー] Latte: Latent Diffusion Transformer for Video Generation

Xin Ma, Yaohui Wang+6 more|arXiv (Cornell University)|Jan 5, 2024

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

Latteは、動画生成のためのTransformerベースの潜在拡散モデルを導入し、4つの効率的なバリアントとベストプラクティスを提示。複数のベンチマークで最先端の結果を達成し、テキストから動画への生成へ拡張。

ABSTRACT

We propose Latte, a novel Latent Diffusion Transformer for video generation. Latte first extracts spatio-temporal tokens from input videos and then adopts a series of Transformer blocks to model video distribution in the latent space. In order to model a substantial number of tokens extracted from videos, four efficient variants are introduced from the perspective of decomposing the spatial and temporal dimensions of input videos. To improve the quality of generated videos, we determine the best practices of Latte through rigorous experimental analysis, including video clip patch embedding, model variants, timestep-class information injection, temporal positional embedding, and learning strategies. Our comprehensive evaluation demonstrates that Latte achieves state-of-the-art performance across four standard video generation datasets, i.e., FaceForensics, SkyTimelapse, UCF101, and Taichi-HD. In addition, we extend Latte to the text-to-video generation (T2V) task, where Latte achieves results that are competitive with recent T2V models. We strongly believe that Latte provides valuable insights for future research on incorporating Transformers into diffusion models for video generation.

研究の動機と目的

• 高品質で時間的一貫性のある動画生成を拡散モデルで改善する動機。
• 動画における潜在拡散のためのTransformerバックボーンを探究することで、高次元の時空データを扱う。
• トランスフォーマーを用いた動画拡散のための埋め込み、注意機構、位置エンコーディング、学習戦略などのベストプラクティス設計選択を特定する。
• 複数の標準的な動画生成データセットで最先端の性能を示し、テキストから動画へのタスクへ拡張する。

提案手法

• 事前学習済みVAEで動画を潜在空間にエンコードする；潜在空間で Transformer ベースのデノイザーを用いて潜在ビデオ分布をモデリングする。
• 空間情報と時間情報を効率的に分解・統合する4つのモデル変種を提案する。
• パッチ埋め込み、タイムステップ/クラス注入、時系列位置エンコーディング、学習戦略に関する広範なアブレーションを実施し、ベストプラクティスを特定する。
• 単純なL2損失と変分下界（L_vlb）を用いた潜在拡散目的関数を、Transformerデノイザーとともに使用する。
• トークン数とクラス条件付けへの適応を伴う事前学習済み拡散トランスフォーマーから初期化する；品質向上のために画像-動画結合訓練を任意で実施。
• Latteをテキストから動画へ拡張するには、事前学習済みの空間トランスフォーマーを活用し、高解像度ビデオデータセットで訓練する。」],
• research_questions':['Transformerベースの潜在拡散モデルはフォトリアリスティックで時間的一貫性のある動画を生成できるだろうか？','トランスフォーマーをバックボーンとする潜在拡散を使用したとき、どのアーキテクチャ変種とベストプラクティスが最良の動画生成品質をもたらすのか？','パッチ埋め込み戦略、タイムステップ情報・クラス情報、そして時系列的位置エンコーディングは、動画の品質と一貫性に大きく影響するか？','Latteは標準ベンチマークで最先端と競合し、テキストから動画へのタスクへ拡張可能か？'],
• key_findings':['LatteはFaceForensics、SkyTimelapse、UCF101、Taichi-HDデータセット全体で最先端のFVD、FID、ISを達成。','ビデオ-画像結合訓練（“Latte-IMG”）は、ベースラインに対してFIDとFVDの顕著な改善をもたらす。','モデル変種の中で、Variant 1が一般に最良の性能を示す；より軽量なVariant 4はFLOPsを削減するが、性能は劣る。','均一なフレームパッチ埋め込みは、時間的信号の保持において、圧縮フレームパッチ埋め込みより優れている。','タイムステップ・クラス情報の注入は、S-AdaLN（スケーラブル適応型層正規化）によってトークンベースの注入より優れている。','時系列絶対位置エンコーディングは、アブレーションでRoPEベースの方法をわずかに上回る。','ImageNetでの事前学習は早期収束を助けるが、特化した動画データでの利得を持続しないかもしれない；画像-動画結合訓練は一貫して結果を改善する。','最適化された実践を用いたLatteのバリアントは、主要なT2Vモデルに対して競争力のあるテキストから動画への結果を達成。'],
• table_headers':['Method','FaceForensics FVD','SkyTimelapse FVD','UCF101 FVD','Taichi-HD FVD'],
• table_rows: [[
• Latte (ours)
• 34.00
• 59.82
• 477.97
• 159.60

実験結果

リサーチクエスチョン

• RQ1 Can Transformer-based latent diffusion models produce photorealistic, temporally coherent videos?

主な発見

Latte (ours)	34.00	59.82	477.97	159.60
Latte+IMG (ours)	27.08	42.67	333.61	97.09

• Latte is great