[論文レビュー] FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation

Ronghui Li, Junfan Zhao+6 more|arXiv (Cornell University)|Dec 7, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

FineDance は、細分化された手の動きと 22 種類のダンスジャンルを備えた大規模かつ 14.6 時間分の 3D 音楽・ダンスペアデータセットを提供し、高精細でジャンルにマッチした全身ダンス生成を可能にする。提案された FineNet フレームワークは、身体と手の動きのためのエキスパートヘッドを備えた拡散ベースの全身生成ネットワークと、Refine Net を通じた精錬を経て、ジャンルと整合性に配慮したリトリーブモジュールを統合し、長期的な一貫性とジャンル一致を確保する。その結果、ジャンル一致と動きの質において最先端の性能を達成した。

ABSTRACT

Generating full-body and multi-genre dance sequences from given music is a challenging task, due to the limitations of existing datasets and the inherent complexity of the fine-grained hand motion and dance genres. To address these problems, we propose FineDance, which contains 14.6 hours of music-dance paired data, with fine-grained hand motions, fine-grained genres (22 dance genres), and accurate posture. To the best of our knowledge, FineDance is the largest music-dance paired dataset with the most dance genres. Additionally, to address monotonous and unnatural hand movements existing in previous methods, we propose a full-body dance generation network, which utilizes the diverse generation capabilities of the diffusion model to solve monotonous problems, and use expert nets to solve unreal problems. To further enhance the genre-matching and long-term stability of generated dances, we propose a Genre&Coherent aware Retrieval Module. Besides, we propose a novel metric named Genre Matching Score to evaluate the genre-matching degree between dance and music. Quantitative and qualitative experiments demonstrate the quality of FineDance, and the state-of-the-art performance of FineNet. The FineDance Dataset and more qualitative samples can be found at our website.

研究の動機と目的

• 大規模で高精細な 3D 音楽・ダンスデータセットが、細分化された手の動きと多様なジャンルを備えていないという問題に対処する。
• 既存の AI ダンス生成手法における単調で不自然な手の動きを克服する。
• 生成されたダンスと入力音楽との間の長期的整合性とジャンル一致を向上させる。
• 音楽駆動型ダンス生成におけるジャンル一致を客観的に評価するための新規指標を開発する。
• 任意の音楽から多様で表現的でジャンルに整合した 3D ダンスシーケンスを合成可能にする。

提案手法

• 346 組の音楽・ダンスペア、22 種類の細分化されたダンスジャンル、手の動きを含む正確な全身ポーズを備えた 14.6 時間分の 3D 動作捕捉データセット FineDance を提案。
• 2段階のジェネレーティブ・シンセシスフレームワークである FineNet を導入：まず、身体と手の動き生成のための別個のエキスパートネットワークを備えた拡散ベースの全身ダンス生成ネットワーク（FDGN）を実装。
• 身体と手のエキスパートの共同出力を調整・精錬するための Refine Net を採用し、空間的・時間的整合性を確保。
• データベースからジャンルにマッチし、時間的に整合性のあるダンス断片を検索する、ジャンルと整合性に配慮したリトリーブモジュール（GCRM）を統合し、長期シーケンスの合成を実現。
• 音楽と生成されたダンスのジャンルの整合性を定量的に評価するための新規指標であるジャンル一致スコア（GS）を用いる。
• 拡散モデルとリトリーブベースのシンセシスを組み合わせることで、生成されたダンスの多様性、リアリズム、長期的安定性を向上。

実験結果

リサーチクエスチョン

• RQ1 正確な手の動きと多様なジャンルを備えた大規模で細分化された 3D ダンスデータセットは、音楽駆動型ダンス生成の質と多様性を向上させることができるか？
• RQ2 身体と手の動きのための専用エキスパートネットワークを備えた拡散ベース生成は、不自然または単調な手の動きを低減できるか？
• RQ3 リトリーブベースのモジュールは、生成されたダンスシーケンスにおけるジャンル一致と長期的整合性をどの程度向上させられるか？
• RQ4 提案されたジャンル一致スコア指標は、音楽とダンスの間のジャンル整合性を効果的かつ客観的に定量化できるか？
• RQ5 ジェネレーティブ・シンセシスフレームワークのハイブリッドアプローチは、定量的指標と定性的なユーザーパーセプションの両面で、純粋なジェネレーティブまたはリトリーブベースのベースラインを上回ることができるか？

主な発見

• FineDance は、14.6 時間分のデータ、22 種類の細分化されたダンスジャンル、正確な手の動きアノテーションを備えた、最大規模の 3D 音楽・ダンスペアデータセットである。
• FineNet はジャンル一致スコア（GS）を 0.77 に達成し、DanceRevolution（0.37） や DeepDance（0.32） といったベースラインを著しく上回り、優れたジャンル一致を実証した。
• ユーザースタディの結果、FineNet は平均芸術的スコア 77.0 を記録し、すべてのベースラインを上回り、実地データ（96.0）に近づいた。特にジャンル一致と包括的な芸術的表現において優れた性能を示した。
• FineNet は平均して 28.2 秒の有効なダンス時間を持続し、生成オンリーの手法（例：DanceRevolution：5.4 秒）を著しく上回り、長期的安定性の向上を示した。
• アブレーションスタディにより、エキスパートネットワークと Refine Net を備えた FDGN が FID（1.66）を最低に、MM（16.72）を最高に達成し、アーキテクチャの有効性を裏付けた。
• GCRM モジュールは FDGN-C と比較して GS を 0.28、MM を 5.21 向上させ、ジャンル一致と動きの多様性の向上に寄与していることが示された。