[论文解读] LaMD: Latent Motion Diffusion for Image-Conditional Video Generation

Yaosi Hu, Zhenzhong Chen+1 more|arXiv (Cornell University)|Apr 23, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

LaMD 提出了一种新颖的潜在运动扩散框架，用于图像条件视频生成，通过将视频分解为内容与运动分量，采用运动分解视频自编码器（MCD-VAE）和基于扩散的运动生成器（DMG）。该方法在 BAIR、Landscape 和 CATER-GENs 基准测试中实现了最先进性能，生成视频具有高质量、多样性，并且采样速度与图像扩散模型相当。

ABSTRACT

The video generation field has witnessed rapid improvements with the introduction of recent diffusion models. While these models have successfully enhanced appearance quality, they still face challenges in generating coherent and natural movements while efficiently sampling videos. In this paper, we propose to condense video generation into a problem of motion generation, to improve the expressiveness of motion and make video generation more manageable. This can be achieved by breaking down the video generation process into latent motion generation and video reconstruction. Specifically, we present a latent motion diffusion (LaMD) framework, which consists of a motion-decomposed video autoencoder and a diffusion-based motion generator, to implement this idea. Through careful design, the motion-decomposed video autoencoder can compress patterns in movement into a concise latent motion representation. Consequently, the diffusion-based motion generator is able to efficiently generate realistic motion on a continuous latent space under multi-modal conditions, at a cost that is similar to that of image diffusion models. Results show that LaMD generates high-quality videos on various benchmark datasets, including BAIR, Landscape, NATOPS, MUG and CATER-GEN, that encompass a variety of stochastic dynamics and highly controllable movements on multiple image-conditional video generation tasks, while significantly decreases sampling time.

研究动机与目标

• 为解决尽管图像生成技术取得进展，但在视频生成中仍存在的连贯自然运动生成难题。
• 通过将运动与视觉内容分离并在紧凑的潜在运动空间中操作，降低计算复杂度并提高建模效率。
• 利用基于扩散的方法，在图像条件和文本-图像条件设置下实现高保真度、可控的视频生成。
• 在保持高感知质量与运动连贯性的同时，实现与图像扩散模型相当的采样速度。

提出的方法

• 该框架采用运动-内容分解视频自编码器（MCD-VAE），通过多尺度图像编码器、带有信息瓶颈的轻量化运动编码器以及视频重建解码器，将视觉外观与运动分离。
• 通过瓶颈化运动编码器将运动压缩为紧凑的潜在表示，从而实现对时序动态的有效建模。
• 基于扩散的运动生成器（DMG）在连续空间中逐步去噪潜在运动表示，条件输入为内容特征和可选的文本。
• DMG 在计算成本与图像扩散模型相近的潜在空间中运行，从而实现快速采样。
• 系统支持图像到视频（I2V）和文本-图像到视频（TI2V）生成，并可通过预训练的文本到图像模型扩展至文本到视频（T2V）生成。
• 该框架采用端到端训练，优化重建与去噪目标，以提升运动真实感与时序一致性。

Figure 1 : The comparison of video generation in different latent space. The dashed line stands for operations only involved in training process, while the solid line represents operations both involved in training and sampling process.

实验结果

研究问题

• RQ1 是否能通过在紧凑潜在空间中将视频生成重新定义为运动生成，以提升连贯性并降低复杂度？
• RQ2 基于扩散的运动生成器能否在计算效率与图像扩散模型相当的前提下，生成逼真、多样且可控的运动？
• RQ3 通过运动分解自编码器将运动与内容分离，是否能带来更高的重建质量与更强的运动表达能力？
• RQ4 所提出的框架是否能在包括随机动力学与可控运动在内的多样化基准测试中实现最先进性能？

主要发现

• LaMD 在 BAIR、Landscape 和 CATER-GENs 基准测试中，针对图像到视频与文本-图像到视频生成任务，均取得了新的最先进 FVD 分数。
• 基于扩散的运动生成器（DMG）在单张 RTX 3090 GPU 上每视频采样时间约为 9–11 秒，采样速度与图像扩散模型相当。
• MCD-VAE 实现了高重建质量，有效将运动模式压缩至紧凑的潜在表示中。
• 消融实验表明，与端到端视频扩散模型相比，运动分解设计能带来更优的运动表达能力与时序连贯性。
• 该框架在图像和文本条件设置下，成功生成了多样化运动——从随机动力学到高度可控的运动。
• 潜在运动空间支持在扩散采样过程中逐步优化运动质量，早期去噪步骤中呈现混沌运动，最终在推理结束时演化为自然、连贯的运动。

Figure 2 : The framework of our proposed LMD. During training process, the stage-I MCD-VAE is first trained to decompose latent motion with video reconstruction task, while DMG is trained to generate natural motion conditioned by $\left\{f_{x_{0}},c\right\}$ in the second stage. During sampling proc