[论文解读] LEO: Generative Latent Image Animator for Human Video Synthesis

Yaohui Wang, Xin Ma+5 more|arXiv (Cornell University)|May 6, 2023

Advanced Vision and Imaging被引用 5

一句话总结

LEO 提出了一种新颖的生成框架，通过在潜在空间中使用光流图将外观与运动解耦，实现高保真度的人体视频合成。它采用潜在运动扩散模型（LMDM）生成运动码，并利用基于光流的图像动画模型通过变形-修复机制合成帧，实现了卓越的时空一致性，支持无限长度视频生成和内容保持的编辑。

ABSTRACT

Spatio-temporal coherency is a major challenge in synthesizing high quality videos, particularly in synthesizing human videos that contain rich global and local deformations. To resolve this challenge, previous approaches have resorted to different features in the generation process aimed at representing appearance and motion. However, in the absence of strict mechanisms to guarantee such disentanglement, a separation of motion from appearance has remained challenging, resulting in spatial distortions and temporal jittering that break the spatio-temporal coherency. Motivated by this, we here propose LEO, a novel framework for human video synthesis, placing emphasis on spatio-temporal coherency. Our key idea is to represent motion as a sequence of flow maps in the generation process, which inherently isolate motion from appearance. We implement this idea via a flow-based image animator and a Latent Motion Diffusion Model (LMDM). The former bridges a space of motion codes with the space of flow maps, and synthesizes video frames in a warp-and-inpaint manner. LMDM learns to capture motion prior in the training data by synthesizing sequences of motion codes. Extensive quantitative and qualitative analysis suggests that LEO significantly improves coherent synthesis of human videos over previous methods on the datasets TaichiHD, FaceForensics and CelebV-HQ. In addition, the effective disentanglement of appearance and motion in LEO allows for two additional tasks, namely infinite-length human video synthesis, as well as content-preserving video editing.

研究动机与目标

• 解决人体视频合成中的时空一致性挑战，尤其是由于复杂全局和局部形变导致的问题。
• 克服先前方法在外观与运动之间缺乏严格解耦的问题，从而避免空间失真和时间抖动。
• 通过实现运动与外观的稳健解耦，实现长时长视频生成和内容保持的视频编辑。
• 开发一种可扩展的框架，通过潜在运动空间中的线性运动条件机制，实现任意长度视频的生成。

提出的方法

• 在潜在空间中将运动表示为一系列光流图，天然地将运动与外观分离。
• 训练一个基于光流的图像动画模型，将潜在运动码映射为光流图，通过变形-修复机制实现帧合成。
• 实施两阶段训练策略：首先，对图像动画模型进行自监督训练，学习从运动码到光流图的映射；其次，在运动码上训练 LMDM 以建模运动先验。
• 在 LMDM 中引入线性运动条件（LMC）机制，生成相对于起始码的运动码残差，从而实现自回归的长序列视频生成。
• 利用现成的图像编辑模型（如 ControlNet）对初始帧进行编辑，并将外观变化在整个视频序列中传播，同时保持运动一致性。
• 使用过渡扩散模型在长时长生成中避免运动模式循环，尤其在运动多样性有限的数据集上表现更优。

实验结果

研究问题

• RQ1 能否通过光流图作为运动表示，在人体视频生成中有效实现运动与外观的解耦？
• RQ2 通过基于光流的变形实现运动与外观分离，是否能相比端到端或两流方法，显著提升生成视频的时空一致性？
• RQ3 所提出的框架能否生成无限长度的人体视频，且保持运动与外观的一致性？
• RQ4 通过仅修改初始帧，能否在解耦的运动与外观基础上实现高度的内容保持视频编辑？
• RQ5 线性运动条件（LMC）机制在实现无退化长序列视频生成方面有多高效？

主要发现

• 在 TaichiHD 和 FaceForensics 数据集上，LEO 在使用 LMC 时分别取得 100.4 和 52.32 的 FVD 分数，性能达到当前最先进水平，显著优于基线方法。
• 用户研究表明，在 TaichiHD 上，93.00% 的用户认为 LEO 的结果比 TATS 更逼真；在 FaceForensics 上，91.33% 的用户更偏好 LEO 而非 StyleGAN-V。
• 模型成功在 FaceForensics 数据集上生成超过 1000 帧的视频，采用自回归 LMDM 推理，证明了无限长度视频生成的可行性。
• 在 TaichiHD 数据集上，由于运动模式具有重复性，引入过渡扩散模型后，模型能够生成超越初始循环的多样化运动模式。
• 实证验证了运动与外观的解耦：使用相同初始帧但不同运动码，可生成不同且合理的运动，且无外观漂移现象。
• 通过在起始图像上使用 ControlNet 进行视频编辑，成功改变了外观（如面部特征、服装），同时在整个序列中保持了运动一致性。