[論文レビュー] Beyond Imitation: Generative and Variational Choreography via Machine Learning

M. Pettee, C. O. Shimmin+2 more|arXiv (Cornell University)|Jul 11, 2019

Human Motion and Animation被引用数 8

ひとこと要約

本論文は、53個のボディポイントの3Dモーショングラフデータを学習対象として、深層自己オートエンコーダーとRNNを用いた機械学習フレームワークを紹介している。このモデルは、動きの低次元潜在空間を学習することで、模倣を超えた新規で多様な振り付けのシーケンス生成が可能となり、創造的探求を支援する。

ABSTRACT

Our team of dance artists, physicists, and machine learning researchers has collectively developed several original, configurable machine-learning tools to generate novel sequences of choreography as well as tunable variations on input choreographic sequences. We use recurrent neural network and autoencoder architectures from a training dataset of movements captured as 53 three-dimensional points at each timestep. Sample animations of generated sequences and an interactive version of our model can be found at http: //www.beyondimitation.com.

研究の動機と目的

• 模倣を超えたオリジナルで多様な振り付けシーケンスの生成を支援する機械学習ツールの開発。
• ダンスの構造的・表現的側面を捉える連続的かつ低次元の潜在空間としての人間の動きをモデル化すること。
• 芸術家が動きの生成とバリエーションの創造的可能性を探索できる、インタラクティブでカスタマイズ可能なシステムの提供。
• 運動感覚的プロセスを可視化可能で振り返れる形に外部化することで、振り付け教育と記録を支援すること。
• 芸術的実践および身体的認知におけるAI生成動きの倫理的・美的影響の探求。

提案手法

• 1フレームごとの53個のボディポイントの3Dモーショングラフデータを用いて、動きのシーケンスの低次元潜在空間を学習する、シーケンスオートエンコーダーを訓練。
• 個々のポーズの分離可能な潜在表現を学習するため、ポーズオートエンコーダーを採用。これにより、動きの構造の操作が可能となる。
• 将来のポーズの条件付き分布をモデル化するため、m個のガウス成分を有する混合密度ネットワーク（MDN）を用い、多様でマルチモーダルな予測を可能にした。
• シーケンスオートエンコーダーの潜在空間からのサンプリングにより新規なシーケンスを生成。また、潜在コードの補間や摂動によりバリエーションを生成。
• RNNを用いた時系列モデリングにより、生成された動きのシーケンスにおける一貫性を維持。
• 潜在空間内の軌道を可視化するインタラクティブなツールを統合。これにより、振り付けの探求と比較が可能となった。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、学習された動きのパターンから、模倣を超えた新規な振り付けシーケンスをどのように生成できるか？
• RQ2 潜在空間の操作によって、入力の動きのフレーズに対して意味的で美的に一貫性のあるバリエーションをどれほど得られるか？
• RQ3 深層自己オートエンコーダーとRNNは、人間のダンス運動の高次元的かつ連続的なダイナミクスを効果的にモデル化できるか？
• RQ4 動きの潜在空間は、振り付け教育、自己反省、記録の支援にどのように活用できるか？
• RQ5 AIが動きを生成する際、生じる倫理的・美的な課題は何か。それらは人間の振り付け実践にどのように影響を及えるか？

主な発見

• 学習された動きの潜在空間からのサンプリングにより、模倣を超えた新規で一貫性のあるダンスシーケンスが生成され、模倣を超えた創造的潜在能力が実証された。
• 潜在コードの補間や摂動により、入力フレーズのバリエーションが生成され、チューナブルで連続的な動きの変換が可能となった。
• 潜在空間内の軌道の可視化により、未発見の動きの可能性が特定され、振りつけ師にとって新たな創造的道筋が示唆された。
• ポーズオートエンコーダーにより、ボディコンフィギュレーションの分離可能な表現が可能となり、動きの質に特化した操作が可能となった。
• 混合密度ネットワークにより、1つの入力から多様な動きの継続を捉えるマルチモーダルな将来のポーズ予測が可能となった。
• 潜在空間のインタラクティブな探求により、振りつけの自己反省と比較が可能となり、記録および教育の新しい形が提供された。