[論文レビュー] Music2Dance: DanceNet for Music-driven Dance Generation

Wenlin Zhuang, Cong‐Yi Wang+3 more|arXiv (Cornell University)|Feb 2, 2020

Human Motion and Animation被引用数 8

ひとこと要約

本稿では、音楽のスタイル、リズム、メロディを制御信号として用いることで、現実的で多様かつ音楽に整合性のある3Dダンスモーションを合成する、新しい自己回帰的生成モデルDanceNetを提案する。本手法は、拡張畳み込み、ゲート付き活性化、音楽的文脈に配慮したエンコーダー、およびGMM損失関数を採用し、モーションの質と多様性を向上させ、新たに収集された高品質な音楽・ダンスペアデータセットにおいて最先端の結果を達成した。

ABSTRACT

Synthesize human motions from music, i.e., music to dance, is appealing and attracts lots of research interests in recent years. It is challenging due to not only the requirement of realistic and complex human motions for dance, but more importantly, the synthesized motions should be consistent with the style, rhythm and melody of the music. In this paper, we propose a novel autoregressive generative model, DanceNet, to take the style, rhythm and melody of music as the control signals to generate 3D dance motions with high realism and diversity. To boost the performance of our proposed model, we capture several synchronized music-dance pairs by professional dancers, and build a high-quality music-dance pair dataset. Experiments have demonstrated that the proposed method can achieve the state-of-the-art results.

研究の動機と目的

• 音楽から現実的で多様かつ音楽に整合性のある3Dダンスモーションを生成する課題に対処すること。
• 従来のRNNおよび畳み込みモデルが、複雑で不規則なダンスシーケンスを処理する際の限界を克服すること。
• 新しい損失関数とモーション表現の導入により、モデルのロバストネスと多様性を向上させること。
• 訓練と評価を支援する高品質で同期された音楽・ダンスペアデータセットを構築すること。
• 単一の統合モデルから、さまざまなダンスタイプをエンドツーエンドに生成可能にすること。

提案手法

• DanceNetは、ネットワークの深さを増さずに受容 field を拡大できるように、拡張畳み込みを用いた自己回帰的アーキテクチャを採用している。
• 複雑で不規則なダンスモーションをよりよくモデル化できるように、ゲート付き活性化ユニットを統合している。
• 生の音楽特徴（発音、ビート、クロマ）を処理する音楽的文脈に配慮したエンコーダーが、滑らかで文脈に配慮した制御信号を生成する。
• エンドエフェクターポジションとフットコンタクト状態をモーション表現に明示的に含めることで、誤差の蓄積を低減し、リアリズムを向上させている。
• 予測された平均の周囲から分布をサンプリング可能にするために、MSE損失の代わりにガウス・ミクスチャーモデル（GMM）損失を用いている。
• 訓練段階では、真値モーションにガウスノイズを追加することで、ロバストネスと一般化性能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、音楽に同期した現実的で多様な3Dダンスモーションを生成できるか？
• RQ2 メルスペクトログ램と比較して、音楽特徴（発音、ビート、クロマ）を用いることでダンス生成の制御性は向上するか？
• RQ3 音楽的文脈に配慮したエンコーダーは、モーションのリアリズムと多様性にどのような影響を与えるか？
• RQ4 エンドエフェクターポジションをモーション表現に組み込むことで、モーションの品質と安定性は向上するか？
• RQ5 GMM損失は、MSE損失に比べて多様で現実的なダンスシーケンスの生成において優れているか？

主な発見

• 音楽特徴（発音、ビート、クロマ）を用いた場合、メルスペクトログラムに比べて、はるかに多様で音楽に整合性のあるダンスモーションが生成される。一方、メルスペクトログラムでは、硬くぎこちない出力が得られる。
• 音楽的文脈に配慮したエンコーダーは、ノイジーな生の音楽特徴の悪影響を軽減する滑らかな制御信号を生成することで、モーションのリアリズムと多様性を向上させる。
• エンドエフェクターポジションをモーション表現に組み込むことで、特に四肢の軌道において、モーションの多様性が向上し、誤差の蓄積が低減される。
• GMM損失は、予測された平均の周囲の分布からのサンプリングを可能にし、MSE損失に比べて顕著に多様性が向上する。MSE損失は過剰に滑らかで多様性に欠ける出力を生成する傾向がある。
• 本モデルは、新たに収集された高品質な音楽・ダンスペアデータセットにおいて、最先端の性能を達成しており、現実的でスタイルに整合性のある3Dダンスシーケンスの生成の有効性を示している。
• 定性的な結果から、DanceNetは、同じモデルからモダンダンスとカーティレイジ・ダンスといった異なるダンスタイプを生成可能であり、強力な汎化性能と制御性を示している。