[論文レビュー] Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

Ruilong Li, Shan Yang+2 more|arXiv (Cornell University)|Jan 21, 2021

Human Pose and Action Recognition参考文献 65被引用数 46

ひとこと要約

本論文では、深層クロスモーダルトランスフォーマーと将来Nフレームの監督を用いたフルアテンション機構を備えたトランスフォーマー基盤のフレームワークを提案し、長時間にわたる非フリーズな動きを実現する音楽条件付き3Dダンス生成を実現した。主な貢献は、10ジャンルにわたる110万フレームの3Dダンスモーションを含むAIST++データセットであり、定性的および定量的評価の両面で最先端の性能を達成した。

ABSTRACT

In this paper, we present a transformer-based learning framework for 3D dance generation conditioned on music. We carefully design our network architecture and empirically study the keys for obtaining qualitatively pleasing results. The critical components include a deep cross-modal transformer, which well learns the correlation between the music and dance motion; and the full-attention with future-N supervision mechanism which is essential in producing long-range non-freezing motion. In addition, we propose a new dataset of paired 3D motion and music called AIST++, which we reconstruct from the AIST multi-view dance videos. This dataset contains 1.1M frames of 3D dance motion in 1408 sequences, covering 10 genres of dance choreographies and accompanied with multi-view camera parameters. To our knowledge it is the largest dataset of this kind. Rich experiments on AIST++ demonstrate our method produces much better results than the state-of-the-art methods both qualitatively and quantitatively.

研究の動機と目的

• 高精細で音楽条件付きの3Dダンスモーションを生成するための学習フレームワークの開発。
• 音楽のリズムと構造に一致する、長時間にわたる非フリーズなダンスシーケンスを生成する課題の解決。
• トレーニングおよび評価用に、ペアドされた3Dモーションと音楽を含む大規模かつマルチビュー・マルチジャンルのデータセットの作成。
• 深層トランスフォーマー・アーキテクチャを用いて、音声とモーションの間のクロスモーダル整合性を向上。
• 定量的および定性的な評価を用いた、音楽条件付き3Dモーション生成の新しいベンチマークの確立。

提案手法

• 音楽と3Dモーション表現の間の複雑な依存関係をモデル化するために、深層クロスモーダルトランスフォーマーが用いられた。
• 将来Nフレームの監督を用いたフルアテンション機構により、トレーニング中に将来のモーショントークンに注目することで、長時間の時系列モデリングが可能になった。
• AIST++データセットは、マルチビューのAIST動画を用いて3D人体ポーズ推定を実施し、モーションおよびカメラパラメータを保持することで再構築された。
• 時系列モデリングを用いたモーションシーケンスの符号化により、リズムの一貫性と動的な変化が維持された。
• 音楽特徴は埋め込みられ、トランスフォーマー内のクロスアテンション機構を通じてモーション埋め込みと整合化された。
• モデルはエンドツーエンドでトレーニングされ、音声入力に条件付けられた3Dダンスシーケンスを生成するように設計され、モーションの現実性と音楽との整合性を促進する損失関数が用いられた。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、音楽と3Dダンスモーションの間のクロスモーダル依存関係を効果的に学習できるか？
• RQ2 将来Nの監視が、長時間のモーショングenerationを改善し、モーションフリーズを防止するのにどのように寄与するか？
• RQ3 AIST++データセットの規模と多様性は、既存のデータセットと比較して、生成品質にどの程度向上効果をもたらすか？
• RQ4 本手法は、定量的および定性的な指標の両面で、最先端のアプローチと比較してどのように優れているか？
• RQ5 深層クロスモーダルトランスフォーマーは、ダンスにおけるリズム的・スタイル的ニュアンスを捉えるために果たす役割は何か？

主な発見

• 提案手法はAIST++データセットにおいて最先端の性能を達成し、定性的および定量的評価の両面で既存手法を上回った。
• 将来Nフレームの監視を用いたフルアテンション機構により、モーションフリーズが顕著に減少し、長時間の時系列整合性が向上した。
• 深層クロスモーダルトランスフォーマーは、音楽とモーションの間の複雑な相関関係を効果的に捉え、表現的でリズムに整合したダンスシーケンスの生成を可能にした。
• 1408のシーケンス、10のダンスジャンルにわたる110万フレームを含むAIST++データセットは、今後の研究のための豊富で多様なベンチマークを提供した。
• 定量的評価では、先行研究と比較して、モーションの現実性、音楽との整合性、多様性の面で優れた結果が得られたが、具体的な指標は提供されたテキストに記載されていない。
• モデルは、さまざまなジャンルの音楽入力に応じて、多様で繰り返しのない、スタイルに適したダンスモーションを生成した。