[论文解读] LongDanceDiff: Long-term Dance Generation with Conditional Diffusion Model

Siqi Yang, Zejun Yang+1 more|arXiv (Cornell University)|Aug 23, 2023

Human Motion and AnimationEngineering被引用 3

一句话总结

LongDanceDiff 提出了一种用于长期 3D 舞蹈生成的条件扩散模型，通过利用音乐和历史动作生成时间上连贯、多样且逼真的舞蹈序列。通过采用基于 Transformer 的扩散模型，结合部分噪声化、互信息最小化以及全局轨迹调制（Global-Trajectory Modulation, GTM）层，该方法有效减少了冻结和脚部滑动等问题，在长期舞蹈生成任务中实现了最先进的运动质量与多样性表现。

ABSTRACT

Dancing with music is always an essential human art form to express emotion. Due to the high temporal-spacial complexity, long-term 3D realist dance generation synchronized with music is challenging. Existing methods suffer from the freezing problem when generating long-term dances due to error accumulation and training-inference discrepancy. To address this, we design a conditional diffusion model, LongDanceDiff, for this sequence-to-sequence long-term dance generation, addressing the challenges of temporal coherency and spatial constraint. LongDanceDiff contains a transformer-based diffusion model, where the input is a concatenation of music, past motions, and noised future motions. This partial noising strategy leverages the full-attention mechanism and learns the dependencies among music and past motions. To enhance the diversity of generated dance motions and mitigate the freezing problem, we introduce a mutual information minimization objective that regularizes the dependency between past and future motions. We also address common visual quality issues in dance generation, such as foot sliding and unsmooth motion, by incorporating spatial constraints through a Global-Trajectory Modulation (GTM) layer and motion perceptual losses, thereby improving the smoothness and naturalness of motion generation. Extensive experiments demonstrate a significant improvement in our approach over the existing state-of-the-art methods. We plan to release our codes and models soon.

研究动机与目标

• 解决自回归模型中因误差累积和训练-推理差异导致的长期 3D 舞蹈生成中的冻结问题。
• 提升音乐条件下的长期 3D 舞蹈生成在时间连贯性与空间真实感方面的表现，尤其针对长达 2 分钟的序列。
• 增强运动多样性，减少对历史动作的过度依赖，缓解过拟合与不自然的运动模式。
• 通过空间约束与感知损失，纠正视觉伪影（如脚部滑动）与不流畅运动。
• 开发一种非自回归、端到端的序列到序列生成框架，在保持高保真度运动的同时实现多样化与自然的舞蹈序列。

提出的方法

• 采用基于 Transformer 的条件扩散模型，输入为音乐、历史动作与噪声化未来动作的拼接，以实现跨模态依赖关系的完整注意力建模。
• 应用部分噪声化策略对未来的动作进行噪声处理，使模型在依赖音乐与历史动作上下文的同时进行去噪。
• 引入互信息最小化目标，降低历史动作与未来动作之间的依赖性，从而提升多样性并减少冻结现象。
• 集成全局轨迹调制（Global-Trajectory Modulation, GTM）层，以施加空间约束，防止脚部滑动并提升整体运动轨迹的真实性。
• 采用基于位置与速度的运动感知损失，通过与人类运动特征对齐，增强生成动作的平滑性与自然感。
• 采用端到端训练方式，结合重建损失、感知损失与互信息正则化项，以平衡运动保真度与多样性。

实验结果

研究问题

• RQ1 条件扩散模型能否有效生成具有高度时间连贯性与空间真实感的长期 3D 舞蹈序列？
• RQ2 历史动作与未来动作之间的互信息最小化在长时程生成中如何提升多样性并减少冻结现象？
• RQ3 通过 GTM 层施加的空间约束在多大程度上可减少脚部滑动并提升整体运动轨迹保真度？
• RQ4 运动感知损失的集成如何影响生成舞蹈动作的平滑性与感知质量？
• RQ5 LongDanceDiff 在运动质量、多样性与音乐同步性方面相较于自回归与非自回归基线方法表现如何？

主要发现

• 在用户研究的 90% 案例中，LongDanceDiff 胜过 FACT、Li 等人与 Revolution，主要得益于其更优的时间连贯性与更少的冻结现象。
• 在 81% 的案例中优于 Bailando，主要归因于更一致的骨骼长度生成与更优的运动多样性。
• 在高多样性设置下，LongDanceDiff 在 75% 的比较中超越 Sun 等人，展现出更优的运动多样性。
• 在 60% 的案例中优于 EDGE，得益于更好的运动连贯性与风格一致性，尽管仍有 42% 的真实动作被评价为更优。
• 互信息最小化将冻结率从 27.5% 降低至 24.2%，证实其在缓解对历史动作过度依赖方面的有效性。
• GTM 层显著降低了运动学与几何特征的 FID 分数，提升了整体运动轨迹的真实性，尽管对多样性造成轻微负面影响。