[论文解读] FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing

Mingyuan Zhang, Huirong Li+4 more|arXiv (Cornell University)|Dec 22, 2023

Human Motion and Animation被引用 7

一句话总结

FineMoGen 是一种基于扩散模型的细粒度时空动作生成与编辑框架，通过引入一种新颖的时空混合注意力（SAMI）机制，显式建模空间与时间依赖关系，在零样本和全监督设置下均实现了最先进性能。该方法进一步通过大型语言模型（LLMs）实现交互式动作编辑，显著提升了文本到动作合成中的可控性与用户交互体验。

ABSTRACT

Text-driven motion generation has achieved substantial progress with the emergence of diffusion models. However, existing methods still struggle to generate complex motion sequences that correspond to fine-grained descriptions, depicting detailed and accurate spatio-temporal actions. This lack of fine controllability limits the usage of motion generation to a larger audience. To tackle these challenges, we present FineMoGen, a diffusion-based motion generation and editing framework that can synthesize fine-grained motions, with spatial-temporal composition to the user instructions. Specifically, FineMoGen builds upon diffusion model with a novel transformer architecture dubbed Spatio-Temporal Mixture Attention (SAMI). SAMI optimizes the generation of the global attention template from two perspectives: 1) explicitly modeling the constraints of spatio-temporal composition; and 2) utilizing sparsely-activated mixture-of-experts to adaptively extract fine-grained features. To facilitate a large-scale study on this new fine-grained motion generation task, we contribute the HuMMan-MoGen dataset, which consists of 2,968 videos and 102,336 fine-grained spatio-temporal descriptions. Extensive experiments validate that FineMoGen exhibits superior motion generation quality over state-of-the-art methods. Notably, FineMoGen further enables zero-shot motion editing capabilities with the aid of modern large language models (LLM), which faithfully manipulates motion sequences with fine-grained instructions. Project Page: https://mingyuan-zhang.github.io/projects/FineMoGen.html

研究动机与目标

• 为解决文本驱动动作生成中缺乏细粒度控制的问题，即用户无法为身体部位指定详细的时间-空间动作。
• 实现通过自然语言指令进行零样本动作编辑，提升用户交互性与适应性。
• 构建大规模基准数据集，用于细粒度动作生成，包含详细的时空标注。
• 通过在注意力机制中显式建模空间与时间组合关系，提升动作生成质量。

提出的方法

• 提出一种时空混合注意力（SAMI）机制，将注意力中的空间与时间建模解耦，提升全局注意力模板的学习能力。
• 引入稀疏激活的专家混合（MoE）机制，自适应地提取细粒度特征，提升特征质量与模型效率。
• 在训练与推理阶段均支持单文本描述与细粒度多部位描述，实现灵活的条件注入。
• 集成大型语言模型（LLMs），用于理解自然语言编辑指令，并自动修正细粒度动作描述。
• 构建了 HuMMan-MoGen 数据集，包含 2,968 个视频与 102,336 个细粒度时空标注，覆盖七个身体部位与动作阶段。
• 在标准基准数据集（HumanML3D、KIT-ML、BABEL）以及新的 HuMMan-MoGen 数据集上进行训练与评估，涵盖零样本与全监督两种设置。

实验结果

研究问题

• RQ1 扩散模型能否生成与细粒度、多部位时空描述精确匹配的人体动作序列？
• RQ2 注意力机制如何重构，以更好地建模动作生成中的空间与时间依赖关系？
• RQ3 模型在无完整细粒度描述监督的情况下，对零样本动作生成的泛化能力如何？
• RQ4 大型语言模型能否有效集成，以实现交互式、基于自然语言的动作编辑？
• RQ5 显式建模时空组合关系在多大程度上提升了动作质量与一致性？

主要发现

• 在零样本评估下，FineMoGen 在 HuMMan-MoGen 测试集上达到最高的 R-Precision 得分 0.51，优于基线方法。
• 模型将 FID 降低至 1.09，显著优于基线的 FID 2.87，大幅提升了动作质量。
• 消融实验证实，空间与时间独立性组件均至关重要，完整 SAMI + MoE 配置表现最佳。
• LLM 的集成实现了有效的零样本动作编辑，使用户可通过自然语言指令修改动作序列。
• HuMMan-MoGen 数据集提供了包含 102,336 个细粒度标注的全面基准，支持大规模细粒度动作生成研究。
• 模型保持了较高的多样性（5.71）与多模态性（5.17），表明其在不同动作风格下具有鲁棒性与泛化能力。