[论文解读] Beyond Imitation: Generative and Variational Choreography via Machine Learning

M. Pettee, C. O. Shimmin+2 more|arXiv (Cornell University)|Jul 11, 2019

Human Motion and Animation被引用 8

一句话总结

本文提出了一种机器学习框架，利用53个体点的3D动作捕捉数据，通过深度自编码器和RNN训练，生成新颖且多样的编舞序列。通过学习运动的低维潜在空间，该模型实现了无条件生成与可调制的变体，支持超越模仿的创造性探索。

ABSTRACT

Our team of dance artists, physicists, and machine learning researchers has collectively developed several original, configurable machine-learning tools to generate novel sequences of choreography as well as tunable variations on input choreographic sequences. We use recurrent neural network and autoencoder architectures from a training dataset of movements captured as 53 three-dimensional points at each timestep. Sample animations of generated sequences and an interactive version of our model can be found at http: //www.beyondimitation.com.

研究动机与目标

• 开发支持编舞者生成原创且多样的舞蹈序列的机器学习工具，超越模仿。
• 将人类运动建模为连续的、低维的潜在空间，以捕捉舞蹈的结构性与表现性特征。
• 提供交互式、可配置的系统，使艺术家能够探索动作生成与变体的创造性可能性。
• 通过将本体感觉过程外化为可视化、可反思的形式，支持编舞教育与记录。
• 探讨人工智能生成动作在艺术实践与具身认知中的伦理与美学影响。

提出的方法

• 在每帧包含53个体点的3D动作捕捉数据上训练序列自编码器，学习运动序列的低维潜在空间。
• 采用姿态自编码器学习单个姿态的解耦潜在表征，实现对运动结构的操控。
• 使用包含m个高斯分量的混合密度网络（MDN）建模未来姿态的条件分布，实现多样化与多模态预测。
• 通过从序列自编码器的潜在空间采样生成新颖序列，并通过插值或扰动潜在码实现变体。
• 通过RNN实现时间建模，以保持生成动作序列的时序连贯性。
• 集成交互式可视化工具，用于探索潜在空间中的轨迹，支持编舞探索与对比。

实验结果

研究问题

• RQ1 机器学习模型如何从学习到的运动模式中生成新颖的、非模仿性的编舞序列？
• RQ2 潜在空间操作在在多大程度上能产生有意义且美学上连贯的输入动作短语变体？
• RQ3 深度自编码器与RNN能否有效建模人类舞蹈运动的高维、连续动力学？
• RQ4 如何利用动作的潜在空间支持编舞教学、反思与记录？
• RQ5 当人工智能生成动作时，会引发哪些伦理与美学挑战，这些挑战又如何影响人类编舞实践？

主要发现

• 通过从学习到的运动序列潜在空间采样，该模型成功生成了新颖且连贯的舞蹈序列，展现出超越模仿的创造性潜力。
• 通过插值或扰动潜在码，生成了输入短语的变体，实现了可调制的连续动作转换。
• 潜在空间中的轨迹可视化揭示了尚未探索的动作潜力区域，为编舞者提示了新的创造性路径。
• 姿态自编码器实现了身体构型的解耦表征，使对动作特质的针对性操控成为可能。
• 混合密度网络实现了未来姿态的多模态预测，能够从单一输入捕捉多样化的动作延续。
• 对潜在空间的交互式探索支持了编舞反思与对比，提供了一种新的记录与教学模式。