[论文解读] Generative Choreography using Deep Learning

Luka Crnkovic-Friis, Louise Crnkovic-Friis|arXiv (Cornell University)|May 23, 2016

Human Motion and Animation参考文献 8被引用 41

一句话总结

本文提出 Chor-RNN，一种基于原始动作捕捉数据进行训练的深度循环神经网络，可生成新颖且风格一致的舞蹈序列，呈现出特定编舞家的创作风格。通过学习高层次的动作模式与构图结构，该模型生成连贯且富有创意的编舞内容，适用于人机协作或艺术创作启发。

ABSTRACT

Recent advances in deep learning have enabled the extraction of high-level features from raw sensor data which has opened up new possibilities in many different fields, including computer generated choreography. In this paper we present a system chor-rnn for generating novel choreographic material in the nuanced choreographic language and style of an individual choreographer. It also shows promising results in producing a higher level compositional cohesion, rather than just generating sequences of movement. At the core of chor-rnn is a deep recurrent neural network trained on raw motion capture data and that can generate new dance sequences for a solo dancer. Chor-rnn can be used for collaborative human-machine choreography or as a creative catalyst, serving as inspiration for a choreographer.

研究动机与目标

• 开发一种深度学习系统，能够生成反映特定编舞家独特风格的新编舞序列。
• 超越简单的动作序列生成，捕捉舞蹈中更高层次的构图连贯性。
• 通过提供由 AI 驱动的创意催化剂，实现人机协同编舞。
• 证明循环神经网络能够从原始动作数据中学习并生成细腻、富有表现力的舞蹈动作。
• 探索深度学习在舞蹈编创领域计算创造力中的潜力。

提出的方法

• 使用原始动作捕捉序列对深度循环神经网络（RNN）进行训练，以建模舞蹈动作中的时间依赖性。
• 模型将动作数据处理为 3D 关节坐标的序列，学习基于先前上下文预测下一帧动作。
• RNN 架构经过优化，以保留生成舞蹈序列中的风格细微差别与结构连贯性。
• 在单一编舞家的动作捕捉数据上进行端到端训练，实现风格特定的生成。
• 推理阶段应用采样策略，以生成多样化但连贯的舞蹈序列。
• 通过定性分析及与人类编舞的对比，评估系统在风格保真度与构图流畅性方面的表现。

实验结果

研究问题

• RQ1 深度学习模型能否生成真实反映特定编舞家风格语言的新颖舞蹈序列？
• RQ2 该模型在多大程度上能够捕捉并再现舞蹈中超越孤立动作序列的更高层次构图结构？
• RQ3 在人机协同编舞场景中，该模型作为创意催化剂的有效性如何？
• RQ4 生成的序列是否展现出足够的艺术连贯性与表现力，可被视为编舞创作的可行灵感来源？
• RQ5 原始动作捕捉数据在帮助模型学习复杂、细腻的动作模式方面起到何种作用？

主要发现

• Chor-RNN 能够成功生成与训练编舞家独特动作语言风格一致的新颖舞蹈序列。
• 该模型生成的序列展现出更高层次的构图连贯性，表明其不仅学习了简单的动作过渡，还捕捉到了结构性模式。
• 编舞家的定性评估表明，生成内容在艺术上可信，适合作为创作灵感。
• 该系统证明了 RNN 可用于建模具有艺术意图的复杂、富有表现力的人体动作。
• 该方法无需显式的编舞标注，即可实现个性化、风格特定的编舞生成。
• 结果表明，深度学习可有效应用于艺术领域，特别是在舞蹈编创中的计算创造力。