[論文レビュー] DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer

Buyu Li, Yongchi Zhao+2 more|arXiv (Cornell University)|Mar 18, 2021

Human Motion and Animation被引用数 7

ひとこと要約

DanceFormerは、音楽に同期したキーポーズをキネマティクス強化型トランスフォーマー（DanTrans）を用いて最初に生成し、その後それらの間でパラメトリックなモーショングレージョンを回帰することで、なめらかでリズムに合わせた動きを生成する二段階の3次元ダンス生成フレームワークを提案する。本手法は、プロのアニメーションと曲線ベースのモーション表現を備えた新規な PhantomDance データセットを用いて検証され、ダンスの質、ビートの整合性、多様性の面で最先端の性能を達成した。

ABSTRACT

Generating 3D dances from music is an emerged research task that benefits a lot of applications in vision and graphics. Previous works treat this task as sequence generation, however, it is challenging to render a music-aligned long-term sequence with high kinematic complexity and coherent movements. In this paper, we reformulate it by a two-stage process, ie, a key pose generation and then an in-between parametric motion curve prediction, where the key poses are easier to be synchronized with the music beats and the parametric curves can be efficiently regressed to render fluent rhythm-aligned movements. We named the proposed method as DanceFormer, which includes two cascading kinematics-enhanced transformer-guided networks (called DanTrans) that tackle each stage, respectively. Furthermore, we propose a large-scale music conditioned 3D dance dataset, called PhantomDance, that is accurately labeled by experienced animators rather than reconstruction or motion capture. This dataset also encodes dances as key poses and parametric motion curves apart from pose sequences, thus benefiting the training of our DanceFormer. Extensive experiments demonstrate that the proposed method, even trained by existing datasets, can generate fluent, performative, and music-matched 3D dances that surpass previous works quantitatively and qualitatively. Moreover, the proposed DanceFormer, together with the PhantomDance dataset (https://github.com/libuyu/PhantomDanceDataset), are seamlessly compatible with industrial animation software, thus facilitating the adaptation for various downstream applications.

研究の動機と目的

• 音楽から長期間にわたる、キネマティックに複雑でリズムに合わせた3次元ダンスを生成する課題に対処すること。
• 一貫性や時間的フレイクルに苦しむ、従来のシーケンスベースの生成手法の限界を克服すること。
• より良い制御性と滑らかさを実現するため、キーポーズ生成とモーショングレージョンの分離を図る二段階フレームワークを導入すること。
• キーフレームと曲線ベースのモーション符号化を備えた、高品質でプロフェッショナルなアニメーションが施された3次元ダンスデータセット（PhantomDance）を構築すること。
• 曲線ベースの表現とエンド・トゥ・エンドの学習を用いて、産業用アニメーションパイプラインへのシームレスな統合を可能にすること。

提案手法

• 音楽に従う3次元ダンス生成を、キーポーズ生成とパラメトリックなモーショングレージョン回帰という二段階のプロセスに再定式化する。
• ビート検出アルゴリズムを用いて音楽のビートを特定し、キーポーズをこれらの時間的マーカーと同期させる。
• 2つの段階的な DanTrans ネットワークを実装する：1つはビートを中心とした音楽スペクトル特徴を用いたキーポーズ生成用、もう1つはビート間の特徴を用いたモーショングレージョンパラメータ回帰用。
• Kochanek-Bartels スプラインを用いて、少量の制御パラメータで滑らかで多様な動きのパターンをモデル化する。
• 運動デコーダーにキネマティックプロパゲーションモジュール（KPM）と構造的マルチヘッドアテンションモジュール（SMAM）を統合し、空間的なキネマティック相関関係と物理的妥当性を向上させる。
• 両ネットワークを adversarial に学習させ、ℓ₂ 再構成損失を用いてリアリズムと多様性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 キーポーズとモーショングレージョンの二段階的手法は、直接的なシーケンスモデリングと比較して、音楽に従う3次元ダンス生成の滑らかさと一貫性を向上させるか？
• RQ2 KPMモジュールによるキネマティックトポロジーの統合は、生成されたダンスの物理的妥当性と品質にどのように影響するか？
• RQ3 提案された曲線ベースのモーション表現は、時間的フレイクルをどれほど軽減し、リズムの整合性を向上させるか？
• RQ4 曲線ベースの符号化を備えた大規模でプロフェッショナルなアニメーションが施された3次元ダンスデータセットは、再構築やモーションキャプチャに基づくデータセットを上回る訓練品質を達成できるか？
• RQ5 提案手法は、最先端のベースラインと比較して、ビートの整合性、多様性、視覚的品質の面で優れた性能を達成できるか？

主な発見

• DanceFormerは、先行する最先端手法 AI Choreographer よりも NPSS（ダンスの質）で30%向上、PFD で28%向上、VFD で27%向上を達成した。
• 本手法は PVar（多様性）で46%向上を記録し、敵対的学習による生成の多様性の向上を示した。
• BC（ビートの整合性）で93%の向上を記録し、二段階のキーポーズ同期のおかげで音楽のビートとほぼ完全に同期していることを示した。
• 100名の参加者によるユーザースタディーでは、DanceFormerが生成したダンスは、ベースラインと比較してパフォーマンスの質と音楽とのマッチングの面で顕著に高い評価を受けた。
• プロのアニメーターが作成した PhantomDance データセットは、再構築やキャプチャに基づく代替手法と比較して、より高い視覚的品質と正確なモーション表現を提供した。
• 学習可能な局所アテンションに三角形状のマスクを用いることで、アテンションの効率性と性能が向上し、固定またはガウス型マスクを上回った。