[論文レビュー] Dance Generation with Style Embedding: Learning and Transferring Latent Representations of Dance Styles

Xinjian Zhang, Yi Xu+3 more|arXiv (Cornell University)|Apr 30, 2021

Music and Audio Processing参考文献 21被引用数 4

ひとこと要約

本論文では、参照ダンスクリップから潜在的スタイル表現を学習し、それらを転送することで多様でスタイル一貫性のあるダンスを生成する、制御可能なスタイル埋め込みを備えたフレーム単位の音楽からダンスへの生成フレームワークを提案する。変換器ベースの音楽エンコーダーとスタイルに配慮したダンス生成器を用いることで、ベースラインと比較して優れたビートマッチング、感情の一致、スタイルの一貫性、多様性を達成した。これは、アニメ、ポッピング、ロックイングのスタイルを含む、新たに構築された大規模な音楽からダンスへのデータセットを用いて検証された。

ABSTRACT

Choreography refers to creation of dance steps and motions for dances according to the latent knowledge in human mind, where the created dance motions are in general style-specific and consistent. So far, such latent style-specific knowledge about dance styles cannot be represented explicitly in human language and has not yet been learned in previous works on music-to-dance generation tasks. In this paper, we propose a novel music-to-dance synthesis framework with controllable style embeddings. These embeddings are learned representations of style-consistent kinematic abstraction of reference dance clips, which act as controllable factors to impose style constraints on dance generation in a latent manner. Thus, the dance styles can be transferred to dance motions by merely modifying the style embeddings. To support this study, we build a large music-to-dance dataset. The qualitative and quantitative evaluations demonstrate the advantage of our proposed framework, as well as the ability of synthesizing diverse styles of dances from identical music via style embeddings.

研究の動機と目的

• 音楽からダンスへの生成において、スタイル固有の知識を明示的にモデル化する欠如が、多様性と現実性を制限しているという問題に対処する。
• 参照ダンスクリップから潜在的スタイル表現を学習することで、ダンス生成における制御可能なスタイル転送を可能にする。
• 同じ音楽に対して、スタイル埋め込みを変更するだけで、多様でスタイル一貫性のあるダンスを生成するフレームワークを開発する。
• スタイルに配慮した生成モデルの学習と評価を目的とした、大規模でスタイルアノテーションが付与された音楽からダンスへのデータセットを構築する。
• フレーム単位の音楽とダンスの同期が、スタイルの忠実性と動きの多様性の両方を向上させることを示す。

提案手法

• スタイル埋め込み生成モジュールは、共有潜在空間内でのプロトタイプベース手法を用いて、参照ダンスクリップから潜在的スタイル表現を学習する。
• 音楽からダンスへの生成器は、音楽入力からの時間的・意味的特徴を抽出するために変換器エンコーダーを用いる。
• ダンス生成器は、音楽表現と学習されたスタイル埋め込みを組み合わせて、フレーム単位で動きのシーケンスを生成する。
• スタイル埋め込みは、プロトタイプベクトルの学習可能な重み付き組み合わせとして計算され、柔軟なスタイル転送を可能にする。
• フレーム同期生成を採用することで、音楽のビートとダンスの動きの間で時間的同期を保証する。
• 実用的な動画レンダリングモデルを用いて、生成されたダンスの可視化を行い、定性的な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 同じ音楽から、多様でスタイル一貫性のあるダンスを生成するために、潜在的スタイル表現を効果的に学習・転送できるか？
• RQ2 提案フレームワークは、ビートマッチング、感情の一致、スタイルの一貫性において、既存手法と比較してどのように優れているか？
• RQ3 スタイル埋め込みを用いた制御可能なスタイル転送は、再トレーニングなしでどの程度可能か？
• RQ4 フレーム単位の音楽・ダンス同期を用いることで、グローバルな音楽表現と比較して生成品質が向上するか？
• RQ5 異なる初期ポーズとスタイル埋め込みを条件として与えた場合、モデルは多様なダンスの動きをどの程度効果的に生成できるか？

主な発見

• 提案フレームワークは、Dancing2Musicと比較して1.3%高いビートヒットレートを達成し、音楽とダンスの間の時間的整合性が向上していることを示している。
• モデルは強い感情一致を示しており、生成されたダンスの強度曲線が入力音楽の強度プロファイルをよく追っている。
• スタイル一貫性のFIDスコアはベースラインより低く、生成されたダンスと実際のダンススタイルとの類似度が高いことを示している。
• 多様性スコア（異なる初期ポーズを用いた生成ダンスのスタイル埋め込み間のFID）は、Dancing2Musicと比較してモデルが顕著に多様であることを示している。
• ユーザースタディーの結果、モデルはスタイルの一貫性においてベースラインを上回っており、参加者がその出力のスタイル正確性を好んでいた。
• 強力な性能を示しているが、一部のケースで四肢の歪みが生じており、動きの現実性向上の余地があることが示唆された。