[論文レビュー] Generative Choreography using Deep Learning

Luka Crnkovic-Friis, Louise Crnkovic-Friis|arXiv (Cornell University)|May 23, 2016

Human Motion and Animation参考文献 8被引用数 41

ひとこと要約

この論文では、特定の振付師の声を模倣して、スタイルに整合した新しいダンスのシーケンスを生成するための深層再帰ニューラルネットワーク（Chor-RNN）を紹介する。高レベルの動きのパターンと構成的構造を学習することで、人間と機械の協働や芸術的インスピレーションに適した一貫性があり創造的な振付素材を生成する。

ABSTRACT

Recent advances in deep learning have enabled the extraction of high-level features from raw sensor data which has opened up new possibilities in many different fields, including computer generated choreography. In this paper we present a system chor-rnn for generating novel choreographic material in the nuanced choreographic language and style of an individual choreographer. It also shows promising results in producing a higher level compositional cohesion, rather than just generating sequences of movement. At the core of chor-rnn is a deep recurrent neural network trained on raw motion capture data and that can generate new dance sequences for a solo dancer. Chor-rnn can be used for collaborative human-machine choreography or as a creative catalyst, serving as inspiration for a choreographer.

研究の動機と目的

• 特定の振付師の独自のスタイルを反映する新しい振付シーケンスを生成できる深層学習システムの開発。
• 単なる動きのシーケンス生成を越えて、ダンスにおける上位レベルの構成的整合性を捉えること。
• 振付師のためのAI駆動の創造的イニシエーターを提供することで、人間と機械の協働的振付を可能にすること。
• 再帰ニューラルネットワークが、生のモーショングラフデータから、繊細で表現的なダンスの動きを学習し生成できることを示すこと。
• ダンス構成の分野における計算的創造性の分野において、深層学習の可能性を探ること。

提案手法

• 生のモーショングラフシーケンスを用いて、再帰的ニューラルネットワーク（RNN）を訓練し、ダンスの動きにおける時間的依存性をモデル化する。
• モデルは動きデータを3次元関節座標の系列として処理し、過去のコンテキストに基づいて次の動きフレームを予測するのを学習する。
• RNNアーキテクチャは、生成されたダンスのシーケンス全体にわたり、スタイルのニュアンスと構造的整合性を保つように最適化されている。
• 訓練は、特定の1人の振付師のモーショングラフデータに対してエンドツーエンドで実施され、スタイル特化型の生成が可能になる。
• 推論時に多様性と一貫性の両立を実現するため、サンプリング戦略が適用されている。
• 定性的な分析と人間が生成した振付との比較を通じて、スタイルの忠実度と構成的流れの観点から評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、特定の振付師のスタイル言語を的確に反映する新しいダンスのシーケンスを生成できるか？
• RQ2 モデルは、孤立した動きのシーケンスを越えて、ダンスにおける上位レベルの構成的構造をどの程度捉え、再現できるか？
• RQ3 モデルは、人間と機械の協働的振付の文脈において、どの程度の効果的な創造的イニシエーターとして機能するか？
• RQ4 生成されたシーケンスは、十分に芸術的整合性と表現力を備えており、振付のインスピレーションとして実用的と見なせるか？
• RQ5 生のモーショングラフデータは、複雑で繊細な動きのパターンを学習する上で、どのような役割を果たしているか？

主な発見

• Chor-RNNは、トレーニングに使った振付師の独自の動き言語と整合性のある、新しいダンスのシーケンスを効果的に生成した。
• モデルは、単なる動きの遷移を越えた、上位レベルの構成的整合性を持つシーケンスを生成しており、構造的パターンを学習していることが示された。
• 振付師による定性的な評価では、生成された素材が芸術的に妥当で、創造的インスピレーションとして適していると認識された。
• このシステムは、芸術的意図を伴う複雑で表現的な人間の動きをRNNでモデル化できることを示した。
• 明示的な振付アノテーションを必要とせず、個人化され、スタイル特化型の振付生成が可能であることが明らかになった。
• 結果から、深層学習が芸術分野、特にダンス構成における計算的創造性に効果的に応用可能であることが示された。