[论文解读] DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion

Yunhong Lou, Linchao Zhu+3 more|arXiv (Cornell University)|Sep 4, 2023

Human Motion and AnimationEngineering被引用 3

一句话总结

DiverseMotion 提出了一种新颖的运动离散扩散（MDD）框架，在文本到运动生成任务中实现了运动质量与多样性的最先进平衡。通过引入大规模的野生运动-字幕（WMC）数据集（包含 8,888 个运动片段和 141k 个多样化字幕），并采用分层语义聚合（HSA）模块以捕捉细粒度的文本语义，该方法在 HumanML3D 和 KIT-ML 基准上显著提升了运动多样性，同时保持了高质量的生成效果。

ABSTRACT

We present DiverseMotion, a new approach for synthesizing high-quality human motions conditioned on textual descriptions while preserving motion diversity.Despite the recent significant process in text-based human motion generation,existing methods often prioritize fitting training motions at the expense of action diversity. Consequently, striking a balance between motion quality and diversity remains an unresolved challenge. This problem is compounded by two key factors: 1) the lack of diversity in motion-caption pairs in existing benchmarks and 2) the unilateral and biased semantic understanding of the text prompt, focusing primarily on the verb component while neglecting the nuanced distinctions indicated by other words.In response to the first issue, we construct a large-scale Wild Motion-Caption dataset (WMC) to extend the restricted action boundary of existing well-annotated datasets, enabling the learning of diverse motions through a more extensive range of actions. To this end, a motion BLIP is trained upon a pretrained vision-language model, then we automatically generate diverse motion captions for the collected motion sequences. As a result, we finally build a dataset comprising 8,888 motions coupled with 141k text.To comprehensively understand the text command, we propose a Hierarchical Semantic Aggregation (HSA) module to capture the fine-grained semantics.Finally,we involve the above two designs into an effective Motion Discrete Diffusion (MDD) framework to strike a balance between motion quality and diversity. Extensive experiments on HumanML3D and KIT-ML show that our DiverseMotion achieves the state-of-the-art motion quality and competitive motion diversity. Dataset, code, and pretrained models will be released to reproduce all of our results.

研究动机与目标

• 为解决现有文本到运动生成模型中缺乏多样性的缺陷，这些模型尽管质量高，但常生成重复、模板化的动作。
• 克服当前运动基准中动作覆盖范围有限的问题，该问题限制了模型学习多样化运动模式的能力。
• 通过捕捉动作动词之外的细微语义差异，提升对文本提示的语义理解能力，特别是在复杂或描述性短语中。
• 开发一种可扩展的自动化流水线，利用预训练的视觉-语言模型构建多样化、高质量的运动-字幕数据集。
• 在文本条件化运动生成中，实现运动质量（以 FID 衡量）与运动多样性（以 MM-Dist 衡量）之间的平衡权衡。

提出的方法

• 作者通过微调一个运动 BLIP 模型，在现有运动-文本配对数据上自动为 8,888 个运动序列生成 141k 个多样化字幕，构建了野生运动-字幕（WMC）数据集。
• 提出一种分层语义聚合（HSA）模块，融合来自基于 CLIP 的文本编码器的多层级文本嵌入，通过整合低层级细节与高层级语义，增强语义表征能力。
• 基于 VQ-VAE 的运动分词器与离散扩散模型构建了运动离散扩散（MDD）框架，将运动序列建模为离散标记，以实现高效生成。
• 推理阶段采用无分类器指导，通过一个缩放超参数控制运动-文本对齐与生成多样性的权衡。
• MDD 框架将扩散过程条件化于 HSA 编码的文本嵌入，实现精确且多样化的运动生成。
• 模型在 HumanML3D 和 KIT-ML 上进行训练与评估，并对 HSA 和扩散步数配置进行了广泛的消融研究。

Figure 1: Our MDD can generate precise and high-quality motions with the aid of our WMC dataset and HSA text encoder. Darker colors indicate later time.

实验结果

研究问题

• RQ1 大规模、多样化的运动-字幕数据集是否能显著提升文本到运动生成中生成的人体运动的多样性？
• RQ2 分层文本编码如何增强模型理解自然语言提示中细微差异（超越动作动词）的能力？
• RQ3 结合无分类器指导的离散扩散建模在多大程度上能平衡文本条件化生成中的运动质量与多样性？
• RQ4 与标准文本编码相比，所提出的 HSA 模块在长句或复杂文本提示上的性能是否有所提升？
• RQ5 为实现质量与多样性之间的最佳权衡，最优的扩散步数是多少？

主要发现

• DiverseMotion 在 HumanML3D 基准上实现了新的 SOTA FID 值 0.070，相比基线模型提升 48%，相比之前 SOTA 方法提升 40%。
• 在 HumanML3D 上，模型达到 Top-1 准确率 0.496 和 Top-3 准确率 0.783，展现出强大的运动-文本对齐能力与生成多样性。
• 与使用标准 CLIP 标记嵌入的基线相比，HSA 模块使 FID 改进 48%，在更长、更复杂的提示上改进更大（MM-Dist-L 提升 0.057）。
• 消融实验表明，100 步扩散设置在质量与多样性之间达到最佳平衡，性能在 30 步（过少）和 120 步（过多）时均下降。
• 采用缩放参数 s=100 的无分类器指导，实现了有利的权衡：文本-运动一致性（Top-1: 0.496）超过真实运动（Top-1: 0.511），同时保持了高水平的多样性。
• 定性结果表明，DiverseMotion 能为同一提示生成多个合理且各不相同的运动，而之前的 SOTA 方法则生成高度相似的输出。

Figure 2: Overview of the method. MDD contains two training stage. a) trains an encoder $\mathcal{E}$ , a decoder $\mathcal{D}$ and a codebook $C$ by reconstructing motions. b) trains a motion denoiser $p_{\theta}(\bm{u}_{t-1}|\bm{u}_{t},c)$ to reverse a Markov chain conditioned on text $w$ . In the