[论文解读] DanceNet3D: Music Based Dance Generation with Parametric Motion Transformer.

Buyu Li, Yongchi Zhao+1 more|arXiv (Cornell University)|Mar 18, 2021

Human Motion and Animation参考文献 21被引用 12

一句话总结

DanceNet3D 提出了一种新颖的3D舞蹈生成框架，将舞蹈动作建模为在节拍同步的关键姿态之间预测中间运动曲线，采用基于MoTrans的Transformer并结合运动学约束与局部时间注意力机制。该方法在新提出的PhantomDance数据集上，实现了流畅、节拍同步且富有表现力的3D舞蹈生成，在定量与定性指标上均优于先前方法。

ABSTRACT

In this work, we propose a novel deep learning framework that can generate a vivid dance from a whole piece of music. In contrast to previous works that define the problem as generation of frames of motion state parameters, we formulate the task as a prediction of motion curves between key poses, which is inspired by the animation industry practice. The proposed framework, named DanceNet3D, first generates key poses on beats of the given music and then predicts the in-between motion curves. DanceNet3D adopts the encoder-decoder architecture and the adversarial schemes for training. The decoders in DanceNet3D are constructed on MoTrans, a transformer tailored for motion generation. In MoTrans we introduce the kinematic correlation by the Kinematic Chain Networks, and we also propose the Learned Local Attention module to take the temporal local correlation of human motion into consideration. Furthermore, we propose PhantomDance, the first large-scale dance dataset produced by professional animatiors, with accurate synchronization with music. Extensive experiments demonstrate that the proposed approach can generate fluent, elegant, performative and beat-synchronized 3D dances, which significantly surpasses previous works quantitatively and qualitatively.

研究动机与目标

• 为解决先前方法将舞蹈生成为离散动作帧的局限，转而建模关键姿态之间的连续运动曲线。
• 通过特定于运动的注意力机制，提升3D舞蹈生成中的时间连贯性与运动学合理性。
• 构建一个大规模、由专业人士标注的、与音乐同步的3D舞蹈数据集，以支持训练与评估。
• 实现更加流畅、优雅且富有表现力的3D舞蹈动画，精确同步于音乐节拍。

提出的方法

• DanceNet3D采用编码器-解码器架构并结合对抗性训练，从音乐生成3D舞蹈序列。
• 首先通过运动感知编码器在音乐节拍处预测关键姿态。
• 解码器采用MoTrans，一种特定于运动的Transformer，通过引入运动链网络来建模关节依赖关系。
• 所学习的局部注意力模块捕捉人体运动序列中的短期时间相关性。
• 利用可微分插值方案，将关键姿态之间的运动曲线预测为连续的3D轨迹。
• 该框架在新提出的PhantomDance数据集上进行训练，该数据集由专业动画师制作，具备精确的音乐同步。

实验结果

研究问题

• RQ1 将运动建模为关键姿态之间的连续曲线，是否能相比逐帧生成方式，显著提升3D舞蹈生成的流畅性与自然度？
• RQ2 运动学链约束与局部时间注意力机制的整合，在提升动作合理性与时间连贯性方面效果如何？
• RQ3 大规模、由专业人士标注的、与音乐同步的3D舞蹈数据集在多大程度上提升了生成质量？
• RQ4 所提出的MoTrans架构是否能在生成复杂、富有表现力的舞蹈动作方面超越标准Transformer？

主要发现

• DanceNet3D生成的3D舞蹈在流畅性与时间连贯性方面显著优于先前方法，该结论得到定量指标与定性分析的共同验证。
• 模型在节拍同步方面表现优异，动作精确对齐于音乐强拍。
• 引入运动链网络与所学习的局部注意力机制，显著提升了动作合理性，减少了不自然的关节运动。
• PhantomDance数据集支持了更真实、更多样化的舞蹈生成，具备专业级动作质量与精确的音乐对齐。
• 定量评估显示，在FID与运动平滑度等指标上，持续优于当前最先进基线方法。
• 定性结果表明，生成的舞蹈动作优雅、富有表现力，适用于艺术与娱乐应用。