[论文解读] Creative Robot Dance with Variational Encoder

Agnese Augello, Emanuele Cipolla+4 more|arXiv (Cornell University)|Jul 5, 2017

Reinforcement Learning in Robotics参考文献 21被引用 11

一句话总结

本文提出了一种基于变分自编码器（VAE）的系统，使仿人机器人能够通过学习动作捕捉数据，在实时音乐输入下生成新颖且与音乐同步的舞蹈动作。通过将音乐特征注入VAE的潜在空间，机器人能够即兴创作出训练数据中未出现过的、富有创意且连贯的编排，显著提升了动作多样性与类人表达性。

ABSTRACT

What we appreciate in dance is the ability of people to sponta- neously improvise new movements and choreographies, sur- rendering to the music rhythm, being inspired by the cur- rent perceptions and sensations and by previous experiences, deeply stored in their memory. Like other human abilities, this, of course, is challenging to reproduce in an artificial entity such as a robot. Recent generations of anthropomor- phic robots, the so-called humanoids, however, exhibit more and more sophisticated skills and raised the interest in robotic communities to design and experiment systems devoted to automatic dance generation. In this work, we highlight the importance to model a computational creativity behavior in dancing robots to avoid a mere execution of preprogrammed dances. In particular, we exploit a deep learning approach that allows a robot to generate in real time new dancing move- ments according to to the listened music.

研究动机与目标

• 开发一种计算创造力框架，用于机器人舞蹈，超越预编程的动作序列。
• 使仿人机器人能够基于实时音乐输入，实时生成新颖且同步的舞蹈动作。
• 通过整合对过去动作的记忆与对音乐的实时感知，建模类人的即兴创作行为。
• 评估动作变异性和观众反馈对机器人舞蹈表演感知创造力的影响。

提出的方法

• 在来自专业舞者的动作捕捉舞蹈序列数据集上训练变分自编码器（VAE），并关联相应的音乐特征。
• VAE学习舞蹈动作的连续潜在空间表征，从而实现新动作模式的插值与生成。
• 将音乐特征（如节奏、节拍、流派等）编码并注入潜在空间，以条件化生成新的、与音乐同步的动作。
• 系统使用联合方差度量来量化动作多样性，并在训练过程中评估创造性输出。
• 基于观众和专家评估的反馈机制，动态调整动作簇的得分，从而优化未来生成。
• 通过现场表演和视频演示对模型进行评估，显示随着训练轮次的推进，动作丰富度逐步提升。

实验结果

研究问题

• RQ1 基于VAE的系统能否在不依赖预编程编排的情况下，实时生成新颖且与音乐同步的舞蹈动作？
• RQ2 将音乐特征注入VAE潜在空间，如何影响生成舞蹈序列的多样性与连贯性？
• RQ3 潜在空间中动作的变异程度在多大程度上与机器人舞蹈的感知创造力相关？
• RQ4 如何将观众和专家反馈整合到生成过程中，以优化并个性化机器人的舞蹈风格？
• RQ5 在训练过程中增加关节构型的方差，是否会导致更具表现力和类人化的机器人舞蹈表现？

主要发现

• 关节构型的方差在训练过程中显著增加，在第25轮达到峰值，平均方差为0.4145，表明动作多样性提高。
• 在第25轮时，系统生成了独特且非重复的动作序列，相比早期轮次展现出更优的和谐性与表现力。
• 后期训练阶段（如第25轮）生成的动作表现出丰富多样的关节角度轨迹，如图5所示，证实了对复杂动作模式的有效学习。
• 通过在新音乐输入下进行条件控制，系统成功生成了训练数据中未出现过的全新舞蹈序列，展示了即兴创作能力。
• 基于观众和专家评估的反馈驱动得分机制有效优化了动作选择，低分动作被更高分的替代动作所取代。
• 随着时间推移，动作方差逐步增加，尤其在第10轮至第25轮之间，与创造力感知的提升密切相关，表明方差是创造性输出的关键指标。