[論文レビュー] LaMD: Latent Motion Diffusion for Image-Conditional Video Generation

Yaosi Hu, Zhenzhong Chen+1 more|arXiv (Cornell University)|Apr 23, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

LaMDは、映像をコンテンツとモーションに分解することで、画像条件付き動画生成のための新規な潜在モーション拡散フレームワークを提案する。モーション分解型動画オートエノードイザー（MCD-VAE）と拡散ベースのモーションジェネレータ（DMG）を用い、BAIR、Landscape、CATER-GENsベンチマークで最先端の性能を達成。高品質で多様なモーション生成と、画像拡散モデルと同等の高速なサンプリング速度を実現。

ABSTRACT

The video generation field has witnessed rapid improvements with the introduction of recent diffusion models. While these models have successfully enhanced appearance quality, they still face challenges in generating coherent and natural movements while efficiently sampling videos. In this paper, we propose to condense video generation into a problem of motion generation, to improve the expressiveness of motion and make video generation more manageable. This can be achieved by breaking down the video generation process into latent motion generation and video reconstruction. Specifically, we present a latent motion diffusion (LaMD) framework, which consists of a motion-decomposed video autoencoder and a diffusion-based motion generator, to implement this idea. Through careful design, the motion-decomposed video autoencoder can compress patterns in movement into a concise latent motion representation. Consequently, the diffusion-based motion generator is able to efficiently generate realistic motion on a continuous latent space under multi-modal conditions, at a cost that is similar to that of image diffusion models. Results show that LaMD generates high-quality videos on various benchmark datasets, including BAIR, Landscape, NATOPS, MUG and CATER-GEN, that encompass a variety of stochastic dynamics and highly controllable movements on multiple image-conditional video generation tasks, while significantly decreases sampling time.

研究の動機と目的

• 画像生成の進展にもかかわらず、自然で整合性のあるモーションを生成するという課題に取り組むこと。
• 視覚的コンテンツからモーションを分離し、コンactな潜在モーション空間で動作させることで、計算複雑性を低減し、モデリング効率を向上させること。
• 拡散ベースのアプローチを用いて、画像条件付きおよびテキスト-画像条件付きの状況下で高精細で制御可能な動画生成を可能にすること。
• 画像拡散モデルと同等のサンプリング速度を維持しながら、高品質な知覚的品質とモーションの一貫性を実現すること。

提案手法

• フレームワークは、マルチスケールの画像エンコーダ、情報ボトルネックを備えた軽量なモーションエンコーダ、および動画再構成デコーダを備えた、モーション-コンテンツ分解型動画オートエノードイザー（MCD-VAE）を用いる。
• ボトルネック付きのモーションエンコーダにより、モーションがコンパクトな潜在表現に圧縮され、時間的ダイナミクスの効率的なモデリングが可能になる。
• 拡散ベースのモーションジェネレータ（DMG）は、コンテンツ特徴量および任意のテキストを条件として、連続空間における潜在モーション表現を段階的にノイズ除去する。
• DMGは、画像拡散モデルと同等の計算コストを持つ潜在空間で動作するため、高速なサンプリングが可能になる。
• システムは、画像から動画（I2V）およびテキスト-画像から動画（TI2V）の生成をサポートし、事前学習済みのテキストから画像モデルを用いてテキストから動画（T2V）への拡張も可能である。
• フレームワークは再構成とノイズ除去の目的関数に基づき、エンドツーエンドで訓練され、モーションの現実性と時間的一致性を最適化する。

Figure 1 : The comparison of video generation in different latent space. The dashed line stands for operations only involved in training process, while the solid line represents operations both involved in training and sampling process.

実験結果

リサーチクエスチョン

• RQ1 コンパクトな潜在空間におけるモーション生成として動画生成を再定式化することで、整合性の向上と複雑性の低減が図れるか？
• RQ2 拡散ベースのモーションジェネレータは、画像拡散モデルと同等の計算効率で、現実的で多様かつ制御可能なモーションを生成できるか？
• RQ3 モーション分解型オートエノードイザーによるモーションとコンテンツの分離は、より高い再構成品質とモーション表現力の向上に寄与するか？
• RQ4 提案されたフレームワークは、確率的ダイナミクスや制御可能な動きを含む多様なベンチマークで最先端の性能を達成できるか？

主な発見

• LaMDは、画像から動画（I2V）およびテキスト-画像から動画（TI2V）の生成タスクにおいて、BAIR、Landscape、CATER-GENsベンチマークで新たな最先端のFVDスコアを達成した。
• 拡散ベースのモーションジェネレータ（DMG）は、1枚のRTX 3090 GPUで1動画あたり約9〜11秒のサンプリング時間を達成し、画像拡散モデルと同等のサンプリング速度を実現した。
• MCD-VAEは、コンパクトな潜在表現にモーションパターンを効果的に圧縮し、高い再構成品質を達成した。
• アブレーションスタディの結果、モーション分解型設計により、エンドツーエンドの動画拡散モデルと比較して、より優れたモーション表現力と時間的一致性が得られた。
• フレームワークは、画像条件およびテキスト条件の両方で、確率的ダイナミクスから高精度な制御可能な動きまで多様なモーションを効果的に生成できた。
• 潜在モーション空間により、拡散サンプリング中にモーションの段階的改善が可能となり、初期のノイズ除去段階では混沌としたモーションが、推論の最終段階では自然で整合性のあるモーションに進化した。

Figure 2 : The framework of our proposed LMD. During training process, the stage-I MCD-VAE is first trained to decompose latent motion with video reconstruction task, while DMG is trained to generate natural motion conditioned by $\left\{f_{x_{0}},c\right\}$ in the second stage. During sampling proc