[論文レビュー] Creative Robot Dance with Variational Encoder

Agnese Augello, Emanuele Cipolla+4 more|arXiv (Cornell University)|Jul 5, 2017

Reinforcement Learning in Robotics参考文献 21被引用数 11

ひとこと要約

本論文では、モーショングラップ技術で収集したデータから学習することで、人間型ロボットがリアルタイムで新しい音楽同期型ダンス動作を生成できる、変分オートエンコーダー（VAE）ベースのシステムを提案する。音楽特徴量をVAEの潜在空間に組み込むことで、訓練データに存在しない創造的で整合性のある振り付けをロボットが即興的に生成し、動きの多様性と人間らしい表現性が向上する。

ABSTRACT

What we appreciate in dance is the ability of people to sponta- neously improvise new movements and choreographies, sur- rendering to the music rhythm, being inspired by the cur- rent perceptions and sensations and by previous experiences, deeply stored in their memory. Like other human abilities, this, of course, is challenging to reproduce in an artificial entity such as a robot. Recent generations of anthropomor- phic robots, the so-called humanoids, however, exhibit more and more sophisticated skills and raised the interest in robotic communities to design and experiment systems devoted to automatic dance generation. In this work, we highlight the importance to model a computational creativity behavior in dancing robots to avoid a mere execution of preprogrammed dances. In particular, we exploit a deep learning approach that allows a robot to generate in real time new dancing move- ments according to to the listened music.

研究の動機と目的

• 事前プログラムされた動きのシーケンスを越える、ロボットダンスのための計算的創造性フレームワークの開発。
• 人間型ロボットがライブ音楽入力に基づき、リアルタイムで新しい同期ダンス動作を生成できるようにすること。
• 過去の動きの記憶と音楽のリアルタイム認識を統合することで、人間らしい即興性を再現すること。
• 動きのばらつきと観客のフィードバックが、ロボットダンスパフォーマンスの創造性の認識に与える影響の評価。

提案手法

• 熟練ダンサーのモーショングラップダンスシーケンスと関連する音楽特徴量を含むデータセットを用いて、変分オートエンコーダー（VAE）を訓練する。
• VAEはダンス動作の連続的潜在空間表現を学習し、新しい動きパターンの補間と生成を可能にする。
• 音楽特徴量（例：リズム、テンポ、ジャンル）がエンコードされ、潜在空間に組み込まれ、新しい音楽同期動作の生成を条件づける。
• システムは、動きの多様性を定量化し、訓練中の創造的出力を評価するために、共同ばらつき指標を用いる。
• 観客および専門家による評価に基づくフィードバックメカニズムが、クラスタ内の動きスコアを動的に調整し、将来の生成を最適化する。
• ライブパフォーマンスと動画デモを通じてモデルを評価し、訓練エポックを経て動きの豊かさが段階的に向上することを確認した。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのシステムは、事前プログラムされた振り付けに依存せずに、リアルタイムで新しい音楽同期型ダンス動作を生成できるか？
• RQ2 VAEの潜在空間に音楽特徴量を組み込むことで、生成されたダンスシーケンスの多様性と整合性はどのように変化するか？
• RQ3 潜在空間における動きのばらつきは、ロボットダンスの創造性の認識とどの程度相関しているか？
• RQ4 観客および専門家のフィードバックを生成プロセスに統合することで、ロボットのダンススタイルをどのように最適化・個別化できるか？
• RQ5 訓練中に関節配置のばらつきを増加させることで、より表現的で人間らしいロボットダンスパフォーマンスが得られるか？

主な発見

• 関節配置のばらつきは訓練を経て著しく増加し、エポック25でピークに達し、平均ばらつきが0.4145に達した。これは、動きの多様性が高まったことを示している。
• エポック25では、一貫性があり繰り返しのない動きのシーケンスが生成され、初期のエポックと比較して、より優れた調和的・表現的特徴を示した。
• 後期の訓練段階（例：エポック25）で生成された動きは、図5に示すように、豊富で多様な関節角度の軌跡を示し、複雑な動きパターンの有効な学習を確認した。
• 新しい音楽入力に基づいて、訓練データに存在しない新しいダンスシーケンスを効果的に生成でき、即興的生成能力を実証した。
• 観客および専門家の評価に基づくフィードバック駆動型スコアメカニズムにより、動き選択が効果的に最適化され、低スコアの動きが高スコアの代替に置き換えられた。
• 特にエポック10から25にかけての段階的ばらつき増加は、創造性の認識向上と相関しており、ばらつきが創造的出力の重要な指標であると考えられる。