[论文解读] DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer

Buyu Li, Yongchi Zhao+2 more|arXiv (Cornell University)|Mar 18, 2021

Human Motion and Animation被引用 7

一句话总结

DanceFormer 提出了一种两阶段的3D舞蹈生成框架，首先使用增强运动学的Transformer（DanTrans）生成与音乐同步的关键姿态，然后在这些关键姿态之间回归参数化运动曲线，以实现流畅且节拍对齐的运动。该方法在新的PhantomDance数据集上实现了舞蹈质量、节拍一致性和多样性的最先进性能，该数据集采用专业动画制作并使用基于曲线的运动表示。

ABSTRACT

Generating 3D dances from music is an emerged research task that benefits a lot of applications in vision and graphics. Previous works treat this task as sequence generation, however, it is challenging to render a music-aligned long-term sequence with high kinematic complexity and coherent movements. In this paper, we reformulate it by a two-stage process, ie, a key pose generation and then an in-between parametric motion curve prediction, where the key poses are easier to be synchronized with the music beats and the parametric curves can be efficiently regressed to render fluent rhythm-aligned movements. We named the proposed method as DanceFormer, which includes two cascading kinematics-enhanced transformer-guided networks (called DanTrans) that tackle each stage, respectively. Furthermore, we propose a large-scale music conditioned 3D dance dataset, called PhantomDance, that is accurately labeled by experienced animators rather than reconstruction or motion capture. This dataset also encodes dances as key poses and parametric motion curves apart from pose sequences, thus benefiting the training of our DanceFormer. Extensive experiments demonstrate that the proposed method, even trained by existing datasets, can generate fluent, performative, and music-matched 3D dances that surpass previous works quantitatively and qualitatively. Moreover, the proposed DanceFormer, together with the PhantomDance dataset (https://github.com/libuyu/PhantomDanceDataset), are seamlessly compatible with industrial animation software, thus facilitating the adaptation for various downstream applications.

研究动机与目标

• 解决从音乐生成长期、运动学复杂且节拍对齐的3D舞蹈的挑战。
• 克服先前基于序列的生成方法在连贯性和时间闪烁方面存在的局限性。
• 提出一种两阶段框架，将关键姿态生成与运动曲线回归分离，以实现更好的控制力与流畅性。
• 构建一个高质量、由专业动画师制作的3D舞蹈数据集（PhantomDance），包含关键帧与基于曲线的运动编码。
• 通过基于曲线的表示与端到端训练，实现与工业动画工作流程的无缝集成。

提出的方法

• 将音乐驱动的3D舞蹈生成重新构想为两阶段流程：先生成关键姿态，再回归参数化运动曲线。
• 使用节拍检测算法识别音乐节拍，并将关键姿态与这些时间标记对齐。
• 实现两个级联的DanTrans网络：一个使用以节拍为中心的音乐频谱特征生成关键姿态，另一个使用节拍间特征回归运动曲线参数。
• 采用Kochanek-Bartels样条曲线，通过少量控制参数建模运动曲线，实现平滑且多样的运动模式。
• 在运动解码器中引入运动学传播模块（KPM）与结构化多头注意力模块（SMAM），以增强空间运动学相关性与物理合理性。
• 通过ℓ₂重建损失对两个网络进行对抗性训练，以提升真实感与多样性。

实验结果

研究问题

• RQ1 与直接序列建模相比，两阶段的关键姿态与运动曲线方法是否能提升音乐驱动3D舞蹈生成的流畅性与连贯性？
• RQ2 通过KPM模块引入运动学拓扑结构，对生成舞蹈的物理合理性与质量有何影响？
• RQ3 所提出的基于曲线的运动表示在多大程度上减少了时间闪烁并提升了节拍对齐效果？
• RQ4 大规模、由专业动画师制作的3D舞蹈数据集（采用基于曲线的编码）是否在训练质量上优于基于重建或动作捕捉的数据集？
• RQ5 与最先进基线方法相比，该方法是否在节拍一致性、多样性与视觉质量方面均取得更优性能？

主要发现

• 与先前最先进方法AI Choreographer相比，DanceFormer在NPSS（舞蹈质量）上提升30%，在PFD上提升28%，在VFD上提升27%。
• 在PVar（多样性）上实现46%的提升，表明对抗性训练显著增强了生成多样性。
• 在BC（节拍一致性）上实现93%的提升，表明由于两阶段关键姿态对齐，生成结果与音乐节拍近乎完美同步。
• 100名参与者参与的用户研究表明，与基线方法相比，DanceFormer生成的舞蹈在表演质量与音乐匹配度方面获得显著更高评价。
• 由专业动画师制作的PhantomDance数据集，其视觉质量更高，运动表示更准确，优于基于重建或捕捉的替代方案。
• 使用可学习的局部注意力机制并采用三角形掩码，提升了注意力机制的效率与性能，优于固定或高斯掩码。