[论文解读] Executing your Commands via Motion Diffusion in Latent Space

Xin Chen, Biao Jiang+6 more|arXiv (Cornell University)|Dec 8, 2022

Human Pose and Action Recognition被引用 14

一句话总结

该论文提出运动潜在扩散模型（MLD），通过在变分自编码器（VAE）学习的低维潜在空间中应用扩散建模，生成高质量且多样化的动作序列。与直接在原始动作序列上操作的扩散模型相比，MLD在潜在空间中进行建模，实现了SOTA性能，并将推理速度提升两个数量级，远快于以往基于原始数据的扩散模型。

ABSTRACT

We study a challenging task, conditional human motion generation, which produces plausible human motion sequences according to various conditional inputs, such as action classes or textual descriptors. Since human motions are highly diverse and have a property of quite different distribution from conditional modalities, such as textual descriptors in natural languages, it is hard to learn a probabilistic mapping from the desired conditional modality to the human motion sequences. Besides, the raw motion data from the motion capture system might be redundant in sequences and contain noises; directly modeling the joint distribution over the raw motion sequences and conditional modalities would need a heavy computational overhead and might result in artifacts introduced by the captured noises. To learn a better representation of the various human motion sequences, we first design a powerful Variational AutoEncoder (VAE) and arrive at a representative and low-dimensional latent code for a human motion sequence. Then, instead of using a diffusion model to establish the connections between the raw motion sequences and the conditional inputs, we perform a diffusion process on the motion latent space. Our proposed Motion Latent-based Diffusion model (MLD) could produce vivid motion sequences conforming to the given conditional inputs and substantially reduce the computational overhead in both the training and inference stages. Extensive experiments on various human motion generation tasks demonstrate that our MLD achieves significant improvements over the state-of-the-art methods among extensive human motion generation tasks, with two orders of magnitude faster than previous diffusion models on raw motion sequences.

研究动机与目标

• 解决在高度异质模态之间学习概率映射的挑战，例如自然语言描述与人体动作序列之间，其分布存在显著差异。
• 降低条件化人体动作生成在训练和推理过程中的计算开销，特别是针对原始动作捕捉数据中固有的冗余和噪声。
• 通过避免直接建模原始动作序列来提升生成动作的多样性与质量，从而减少噪声和伪影的放大。
• 通过在大规模弱标注动作数据集（如AMASS）上预训练运动VAE，实现高效微调与迁移学习。
• 探索潜在空间扩散在动作生成中的有效性，受文本到图像生成成功启发，以实现更快、更高质量的结果。

提出的方法

• 设计一种基于Transformer的VAE，引入类似UNet的跳跃连接，以学习人体动作序列的紧凑、代表性且低维的潜在编码。
• 在大规模弱标注动作数据集（如AMASS）上学习运动VAE，以提取高信息密度的潜在空间，为后续条件化生成任务做准备。
• 不将条件扩散模型应用于原始动作序列，而是应用于学习到的运动潜在编码，从而实现高效且稳定的训练与推理。
• 使用交叉注意力或拼接方式，将文本或动作类别嵌入作为条件输入扩散去噪器，结合跳跃连接以改善特征传播。
• 训练扩散模型以逆转潜在编码上的噪声调度，学习从随机噪声逐步去噪生成与动作一致的潜在序列。
• 通过潜在采样实现无条件动作生成，通过扩散采样实现条件化动作生成，并对潜在维度和模型深度进行消融实验。

Figure 1 : Our Motion Latent-based Diffusion (MLD) model can achieve high-quality and diverse motion generation given a text prompt. The darker colors indicate the later in time, and the colored words refer to the motions with same colored trajectory.

实验结果

研究问题

• RQ1 在生成质量和推理速度方面，基于学习到的运动潜在空间的扩散建模是否优于直接在原始动作序列上进行扩散建模？
• RQ2 潜在编码的维度如何影响生成动作序列的多样性与保真度？
• RQ3 在扩散去噪器中引入跳跃连接是否能提升潜在空间中的动作生成质量？
• RQ4 在弱标注数据上预训练的运动VAE是否能通过极少微调，实现有效的下游条件化动作生成？
• RQ5 与基于原始序列的扩散模型相比，潜在空间扩散在人体动作生成中能在多大程度上降低计算开销？

主要发现

• MLD在HumanML3D基准上取得1.055的Fréchet Inception Distance（FID）分数，显著优于先前SOTA方法（如MDM的8.848和ACTOR的14.14）。
• MLD获得8.577的多样性分数，为所有对比方法中的最高分，表明其在动作多样性和真实性方面表现更优。
• 最小的潜在编码（z ∈ ℝ¹×²⁵⁶）取得最佳性能，表明低维、高信息密度的潜在空间最适于动作扩散建模。
• 在扩散去噪器中引入跳跃连接后，FID性能提升1.5倍，多样性提升1.2倍，相较无跳跃连接的模型。
• MLD将推理时间降低两个数量级——单样本平均仅需0.24秒，相较MDM在单张Tesla V100上的24.74秒有显著提升。
• 该模型展现出强大的泛化能力，在条件化与无条件动作生成任务中，FID、多样性与Inception Score等多项指标均保持一致提升。

Figure 2 : Method overview: MLD consists of a VAE model $\mathcal{V}$ ( Sec. 3.1 ) and a latent diffusion model $\epsilon_{\theta}$ ( Sec. 3.2 ) conditioned on text or action embedding $\tau_{\theta}$ ( Sec. 3.3 ). We propose two-stage training: first learn $\mathcal{V}$ for Motion Representations i