[论文解读] AI Choreographer: Music Conditioned 3D Dance Generation with AIST++

Ruilong Li, Shan Yang+2 more|arXiv (Cornell University)|Jan 21, 2021

Human Motion and Animation参考文献 81被引用 32

一句话总结

引入 AIST++，一个具有音乐的大规模多模态三维舞蹈动作数据集，以及 FACT，一种全注意力跨模态 Transformer，能够从一个2秒的种子动作生成长序列、以音乐为条件的三维舞蹈。

ABSTRACT

We present AIST++, a new multi-modal dataset of 3D dance motion and music, along with FACT, a Full-Attention Cross-modal Transformer network for generating 3D dance motion conditioned on music. The proposed AIST++ dataset contains 5.2 hours of 3D dance motion in 1408 sequences, covering 10 dance genres with multi-view videos with known camera poses -- the largest dataset of this kind to our knowledge. We show that naively applying sequence models such as transformers to this dataset for the task of music conditioned 3D motion generation does not produce satisfactory 3D motion that is well correlated with the input music. We overcome these shortcomings by introducing key changes in its architecture design and supervision: FACT model involves a deep cross-modal transformer block with full-attention that is trained to predict $N$ future motions. We empirically show that these changes are key factors in generating long sequences of realistic dance motion that are well-attuned to the input music. We conduct extensive experiments on AIST++ with user studies, where our method outperforms recent state-of-the-art methods both qualitatively and quantitatively.

研究动机与目标

• 说明现实的音乐条件下的三维舞蹈生成的必要性并提供一个大规模数据集以研究该任务。
• 开发一个模型，能够从短种子序列生成与输入音乐对齐的长序列三维舞蹈动作。
• 证明带有未来-N 监督的全注意力跨模态融合能够实现稳定且高质量的动作生成。
• 通过基于 SMPL 的表示实现生成动作对新角色的易于再目标化。

提出的方法

• 提出 AIST++：一个包含 5.2 小时三维舞蹈动作、1408 条序列、10 种体裁、来自已知相机位的多视角视频数据的数据集。
• 引入 FACT：一个深度跨模态 Transformer，包含三个组件——一个音频 Transformer、一个种子动作 Transformer，以及一个具备全注意力、在早期融合两种模态的跨模态 Transformer。
• 在自回归设置中训练 FACT，以预测 N 个未来运动帧（实验中 N = 20），使用未来-N 监督以稳定长程生成。
• 将三维舞蹈表示为关节旋转和全局平移，以支持对新角色的再目标化。
• 使用音频和运动嵌入的早期融合以及一个 12 层的跨模态 Transformer 来有效学习音乐-运动的相关性。

Figure 2: Cross-Modal Music Conditioned 3D Motion Generation Overview. Our proposed a Full-Attention Cross-modal Transformer (FACT) network (details in Figure 3 ) takes in a music piece and a $2$ -second sequence of seed motion, then auto-regressively generates long-range future motions that correla

实验结果

研究问题

• RQ1 像 AIST++ 这样的大规模多视角数据集是否能够促进对音乐条件下三维舞蹈生成的鲁棒学习？
• RQ2 具备未来-N 监督的全注意力跨模态 Transformer 在生成长时间、与音乐一致的舞蹈序列方面，是否优于因果注意力和浅层融合的基线？
• RQ3 音频和运动模态的早期融合如何影响模型跟随音乐线索的能力？
• RQ4 在生成序列中，哪些指标能最好地捕捉运动质量、多样性以及音乐-舞蹈对齐？

主要发现

• AIST++ 已被验证为一个大型、多视角、多体裁的数据集，包含 1408 条序列、30 名主体、10 种体裁，以及同步的多视角图像。
• 具有全注意力、未来-N 监督和早期跨模态融合的 FACT 比基线产生更长、不会冻结、更符合音乐的三维舞蹈动作。
• FACT 在 AIST++ 上实现了比 Li et al. 2021、Dancenet 和 DanceRevolution 等方法更好的动作真实感（更低的 FID_k 和 FID_g）以及更高的 BeatAlign 得分。
• 用户研究表明，在与 Li et al.、Dancenet、DanceRevolution 的比较中，FACT 生成的动作在音乐一致性方面被感知为更强，在 81%/71%/77% 的比较中获胜。
• 消融研究证实了未来-N 监督的全注意力与早期跨模态融合对高质量、音乐条件生成的必要性。

Figure 3: FACT Model Details. (a) The structure of the audio/motion/cross-modal transformer with $N$ attention layers. (b) Attention and supervision mechanism as a simplified two-layer model. Models like GPT [ 66 ] and the motion generator of [ 55 ] use causal attention (left) to predict the immedia