[論文レビュー] Music2Dance: Music-driven Dance Generation using WaveNet.

Wenlin Zhuang, Cong‐Yi Wang+3 more|arXiv (Cornell University)|Feb 2, 2020

Human Motion and Animation参考文献 30被引用数 20

ひとこと要約

本稿では、音楽のスタイル、リズム、メロディーを条件として、高精細で多様な3Dダンスモーションを生成するWaveNetベースの自己回帰的モデル、DanceNetを提案する。プロのダンサーから収集した高品質な同期音楽・ダンスペアデータセットを活用することで、音楽駆動型ダンス生成分野で最先端の性能を達成した。

ABSTRACT

Synthesize human motions from music, i.e., music to dance, is appealing and attracts lots of research interests in recent years. It is challenging due to not only the requirement of realistic and complex human motions for dance, but more importantly, the synthesized motions should be consistent with the style, rhythm and melody of the music. In this paper, we propose a novel autoregressive generative model, DanceNet, to take the style, rhythm and melody of music as the control signals to generate 3D dance motions with high realism and diversity. To boost the performance of our proposed model, we capture several synchronized music-dance pairs by professional dancers, and build a high-quality music-dance pair dataset. Experiments have demonstrated that the proposed method can achieve the state-of-the-art results.

研究の動機と目的

• 音楽からリアルでリズムに整合した3Dダンスモーションを生成する課題に対処すること。
• メロディーやテンポなどの音楽的要素と複雑な人間のモーショントランジションを整合させる難しさを克服すること。
• 合成されたダンスシーケンスに多様性と高精細さを保証する生成モデルを開発すること。
• トレーニングと評価を支援する高品質な同期音楽・ダンスペアデータセットの構築すること。

提案手法

• ステップバイステップで3Dダンスモーションシーケンスを生成する自己回帰的生成モデル、DanceNetを設計すること。
• 音声から抽出したスタイル、リズム、メロディーなどの音楽的特徴を生成プロセスに条件付けすること。
• モーションシーケンスにおける長距離時系列依存性をモデル化するためにWaveNetアーキテクチャを活用すること。
• プロのダンサーから収集した新しい同期音楽・ダンスペアデータセット上で、モデルをエンドツーエンドで学習させること。
• モデリング効率とモーション品質の向上を目的に、階層的モーション表現を採用すること。
• 音楽埋め込みを制御信号として統合し、音楽的意味を考慮した生成プロセスをガイドすること。

実験結果

リサーチクエスチョン

• RQ1 音楽特徴で条件づけられた自己回帰的モデルは、リアルで多様な3Dダンスモーションを生成できるか？
• RQ2 生成されたダンスモーションは、入力音楽のリズムとメロディーとどの程度整合しているか？
• RQ3 トレーニングデータの品質が、生成されたモーションのリアルさと多様性にどの程度影響を与えるか？
• RQ4 提案されたモデルは、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案されたDanceNetモデルは、音楽駆動型3Dダンス生成分野で最先端の性能を達成した。
• モデルは、入力音楽と時間的に整合した、非常にリアルで多様なダンスモーションを生成した。
• プロのダンサーから収集した高品質な音楽・ダンスペアデータセットの使用が、モーション品質と一貫性を顕著に向上させた。
• WaveNetを用いた自己回帰的設計により、強力な時間的整合性を持つ高精細なモーション生成が実現された。