[论文解读] Towards 3D Dance Motion Synthesis and Control

Wenlin Zhuang, Yangang Wang+5 more|arXiv (Cornell University)|Jun 10, 2020

Human Motion and Animation参考文献 32被引用 15

一句话总结

本文提出了一种新颖的TC-LSTM生成模型，通过利用1D舞蹈旋律线作为控制信号，合成出逼真、多样且可控的3D舞蹈动作。该模型结合时间卷积编码器与LSTM解码器，以捕捉长程时空依赖关系，在随机合成、音乐到舞蹈生成以及用户可控舞蹈生成任务中均实现了最先进性能，表现出高度的旋律一致性与多样性。

ABSTRACT

3D human dance motion is a cooperative and elegant social movement. Unlike regular simple locomotion, it is challenging to synthesize artistic dance motions due to the irregularity, kinematic complexity and diversity. It requires the synthesized dance is realistic, diverse and controllable. In this paper, we propose a novel generative motion model based on temporal convolution and LSTM,TC-LSTM, to synthesize realistic and diverse dance motion. We introduce a unique control signal, dance melody line, to heighten controllability. Hence, our model, and its switch for control signals, promote a variety of applications: random dance synthesis, music-to-dance, user control, and more. Our experiments demonstrate that our model can synthesize artistic dance motion in various dance types. Compared with existing methods, our method achieved start-of-the-art results.

研究动机与目标

• 为解决由于高运动学复杂性和不规则性所带来的逼真、多样且可控的3D舞蹈动作合成挑战。
• 克服现有方法在处理多样化舞蹈类型和复杂运动结构时可控性不足的局限。
• 在单一统一框架内支持多种应用——包括随机合成、音乐到舞蹈生成以及用户可控舞蹈生成。
• 引入一种新颖的1D控制信号——舞蹈旋律线，以增强可控性并防止训练过程中的模式坍塌。
• 在不同舞蹈风格下，实现在动作逼真度、多样性及旋律一致性方面的最先进性能。

提出的方法

• TC-LSTM模型使用时间卷积神经网络（TCN）作为编码器，从3D动作序列中提取时空特征。
• 基于LSTM的解码器自回归地生成未来动作帧，以建模舞蹈动作中的长期依赖关系。
• 从音乐或用户绘制输入中提取一种新颖的1D舞蹈旋律线，并在训练和推理阶段均用作控制信号。
• 在训练过程中，旋律线作为条件信号引导动作生成；在推理阶段，确保生成动作与旋律保持一致。
• 通过组合重建损失与对抗损失进行模型训练，以提升动作的逼真度与多样性。
• 该框架支持端到端的多种应用合成，包括音乐到舞蹈生成以及基于用户绘制旋律线的控制。

实验结果

研究问题

• RQ1 深度生成模型能否有效合成具有高运动学复杂性的多样化且逼真的3D舞蹈动作？
• RQ2 1D旋律线如何作为强而有效的控制信号，用于生成与音乐一致的舞蹈动作？
• RQ3 同一模型是否无需架构修改即可支持多种应用——包括随机合成、音乐到舞蹈生成以及用户可控舞蹈生成？
• RQ4 所提出的TC-LSTM模型在逼真度、多样性和可控性方面相较于现有方法的优越程度如何？
• RQ5 为何该模型在现代舞上表现优于快节奏韩舞？其原因是什么，又该如何改进？

主要发现

• TC-LSTM模型在3D舞蹈动作合成任务中达到最先进性能，优于先前方法，在逼真度与多样性方面表现更优。
• 解码器中引入LSTM显著提升了动作逼真度，与无LSTM的模型相比，FID分数明显降低。
• 该模型在不同舞蹈类型中均保持了高水平的旋律一致性，尤其在现代舞中表现突出，得益于更优的时间平滑性与更低的动态复杂度。
• 用户研究证实，该模型能生成逼真且旋律一致性强的舞蹈动作，尤其在用户通过鼠标绘制旋律线输入时表现更佳。
• 由于旋律线提供了强监督信号，模型在训练过程中有效防止了模式坍塌，即使在相同初始条件下也能生成多样化输出。
• 该方法能良好泛化至多种音频格式，包括WAV与MIDI，通过将旋律线提取为1D时间序列作为控制信号。