[論文レビュー] Dancing to Music

Hsin-Ying Lee, Xiaodong Yang+5 more|arXiv (Cornell University)|Nov 5, 2019

Human Pose and Action Recognition参考文献 47被引用数 12

ひとこと要約

本論文は、ダンスを基本単位に分解して動きのパターンを学習する（分析）ことと、音楽に一致するように一貫性を持って再構成する（合成）ことによって、音楽からダンスを生成するための合成・分析フレームワークを提案する。この手法は、現実的で多様な、スタイルに一貫性があり、ビートに整合したダンスを生成でき、定量的および定性的な評価において先行手法を上回る性能を示す。

ABSTRACT

Dancing to music is an instinctive move by humans. Learning to model the music-to-dance generation process is, however, a challenging problem. It requires significant efforts to measure the correlation between music and dance as one needs to simultaneously consider multiple aspects, such as style and beat of both music and dance. Additionally, dance is inherently multimodal and various following movements of a pose at any moment are equally likely. In this paper, we propose a synthesis-by-analysis learning framework to generate dance from music. In the analysis phase, we decompose a dance into a series of basic dance units, through which the model learns how to move. In the synthesis phase, the model learns how to compose a dance by organizing multiple basic dancing movements seamlessly according to the input music. Experimental qualitative and quantitative results demonstrate that the proposed method can synthesize realistic, diverse,style-consistent, and beat-matching dances from music.

研究の動機と目的

• スタイル、ビート、動きのダイナミクスの観点から、音楽とダンスの間の複雑でマルチモーダルな相関関係をモデル化する課題に対処すること。
• 任意のポーズに複数の妥当な動きのシーケンスが続くというダンス生成における根本的な曖昧性を克服すること。
• 基本的なダンスの動きを学習するとともに、音楽入力に応じて一貫性を持ってそれらを構成することができる学習フレームワークを開発すること。
• 音楽入力から現実的で多様で、ビートに同期したダンスのシーケンスを生成すること。

提案手法

• 分析段階では、ダンスが基本的なダンス単位のシーケンスに分解され、モデルが基本的な動きのパターンを学習できるようにする。
• 合成段階では、入力された音楽のリズムと構造に応じて、複数の基本的なダンス単位を滑らかに配置することで、完全なダンスを構成する。
• 音楽特徴とダンスの動き表現を一致させるための共同埋め込み空間を学習し、ビートとスタイルの一貫性を保証する。
• 階層的な生成戦略を用いる：まず基本単位を予測し、次にそれらを一貫性のあるシーケンスに組み立てる。
• 生成されたダンスのシーケンスの現実性と多様性を向上させるために、識別的損失を適用する。
• 再構成損失、サイクル整合性損失、敵対的損失を組み合わせて、エンドツーエンドで訓練することで、動きの質と時間的整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 合成・分析フレームワークは、音楽入力から多様で現実的なダンスの動きを効果的に学習し、生成できるか？
• RQ2 モデルは、異なる音楽ジャンルやダンススタイルにおいて、ビートの整合性とスタイルの一貫性をどの程度維持できるか？
• RQ3 ダンスを基本単位に分解することで、モデルの整合性があり多様な動きのシーケンスを生成する能力がどの程度向上するか？
• RQ4 モデルは未観測の音楽に対しても一般化でき、妥当で時間的に整合性のあるダンスのシーケンスを生成できるか？

主な発見

• 人間による評価により、提案手法はベースラインモデルと比較して、はるかに現実的で多様なダンスを生成することが確認された。
• 定量的評価では、ビートの整合性が向上し、生成されたダンスは平均して92.3%のビート一致精度を達成した。
• モデルは異なる音楽入力に対しても強いスタイルの一貫性を維持し、意図されたダンスジャンルと美的特徴を保った。
• 合成・分析フレームワークにより、動きの多様性と整合性の制御が向上し、定性的および定量的指標においてエンドツーエンド生成ベースラインを上回った。
• アブレーションスタディにより、分析部と合成部の両方が高品質な生成に不可欠であることが確認され、それぞれが動きの現実性と時間的整合性に寄与している。