[论文解读] Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

Ruilong Li, Shan Yang+2 more|arXiv (Cornell University)|Jan 21, 2021

Human Pose and Action Recognition参考文献 65被引用 46

一句话总结

本文提出了一种基于Transformer的音乐条件3D舞蹈生成框架，采用深度跨模态Transformer和未来-N监督的全注意力机制，实现长时序、非冻结的运动生成。主要贡献是AIST++数据集——涵盖10种舞种的110万帧3D舞蹈动作——并在定性和定量评估中均达到最先进性能。

ABSTRACT

In this paper, we present a transformer-based learning framework for 3D dance generation conditioned on music. We carefully design our network architecture and empirically study the keys for obtaining qualitatively pleasing results. The critical components include a deep cross-modal transformer, which well learns the correlation between the music and dance motion; and the full-attention with future-N supervision mechanism which is essential in producing long-range non-freezing motion. In addition, we propose a new dataset of paired 3D motion and music called AIST++, which we reconstruct from the AIST multi-view dance videos. This dataset contains 1.1M frames of 3D dance motion in 1408 sequences, covering 10 genres of dance choreographies and accompanied with multi-view camera parameters. To our knowledge it is the largest dataset of this kind. Rich experiments on AIST++ demonstrate our method produces much better results than the state-of-the-art methods both qualitatively and quantitatively.

研究动机与目标

• 开发一种用于生成高保真、音乐条件3D舞蹈动作的学习框架。
• 解决生成与音乐节奏和结构对齐的长时序、非冻结舞蹈序列的挑战。
• 构建大规模、多视角、多舞种的配对3D动作与音乐数据集，用于训练与评估。
• 通过深度Transformer架构提升音频与动作之间的跨模态对齐。
• 通过定量与定性评估，建立音乐条件3D动作生成的新基准。

提出的方法

• 使用深度跨模态Transformer建模音乐与3D动作表征之间的复杂依赖关系。
• 全注意力结合未来-N监督机制通过在训练期间关注未来动作标记，实现长时序建模。
• AIST++数据集通过多视角AIST视频使用3D人体姿态估计技术重建，保留动作与相机参数。
• 动作序列通过时序建模进行编码，以保持节奏一致性与动态变化。
• 音乐特征通过Transformer中的交叉注意力机制与动作嵌入对齐。
• 模型端到端训练，以音频输入为条件生成3D舞蹈序列，损失函数促进动作真实感与音乐对齐。

实验结果

研究问题

• RQ1 基于Transformer的架构能否有效学习音乐与3D舞蹈动作之间的跨模态依赖？
• RQ2 未来-N监督机制如何提升长时序动作生成性能并防止动作冻结？
• RQ3 AIST++数据集的规模与多样性在多大程度上提升了生成质量，相较于现有数据集？
• RQ4 所提方法在定性与定量指标上与最先进方法相比表现如何？
• RQ5 深度跨模态Transformer在捕捉舞蹈节奏与风格细微差别的作用是什么？

主要发现

• 所提方法在AIST++数据集上达到最先进性能，在定性和定量评估中均优于现有方法。
• 全注意力结合未来-N监督机制显著减少动作冻结现象，提升长时序时间一致性。
• 深度跨模态Transformer有效捕捉音乐与动作之间的复杂相关性，实现富有表现力且节奏对齐的舞蹈序列。
• AIST++数据集包含1408个序列、110万帧、10种舞种，为未来研究提供了丰富且多样的基准。
• 定量结果表明，与先前工作相比，本方法在动作真实感、音乐对齐性与多样性方面表现更优，尽管具体指标在所提供文本中未详细说明。
• 模型生成多样化、非重复且风格恰当的舞蹈动作，与各类舞种的音乐输入保持良好对齐。