[論文レビュー] Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory

Siyao Li, Weijiang Yu+6 more|arXiv (Cornell University)|Mar 24, 2022

Human Motion and AnimationEngineering被引用数 18

ひとこと要約

Bailandoは、非教師ありVQ-VAEを用いてダンスポーズを解釈可能で人間が理解可能な単位に量子化する舞踏記憶を活用し、クロス条件付きアテンションを備えたファインチューニング済みActor-Critic GPTによって、時間的に整合的でビートに合わせたダンスシーケンスを生成する、新しい音楽から3Dダンスを生成するフレームワークを提案する。本手法は、AIST++において最先端の性能を達成し、動きの質と音楽との同期性において顕著な向上を示した。

ABSTRACT

Driving 3D characters to dance following a piece of music is highly challenging due to the spatial constraints applied to poses by choreography norms. In addition, the generated dance sequence also needs to maintain temporal coherency with different music genres. To tackle these challenges, we propose a novel music-to-dance framework, Bailando, with two powerful components: 1) a choreographic memory that learns to summarize meaningful dancing units from 3D pose sequence to a quantized codebook, 2) an actor-critic Generative Pre-trained Transformer (GPT) that composes these units to a fluent dance coherent to the music. With the learned choreographic memory, dance generation is realized on the quantized units that meet high choreography standards, such that the generated dancing sequences are confined within the spatial constraints. To achieve synchronized alignment between diverse motion tempos and music beats, we introduce an actor-critic-based reinforcement learning scheme to the GPT with a newly-designed beat-align reward function. Extensive experiments on the standard benchmark demonstrate that our proposed framework achieves state-of-the-art performance both qualitatively and quantitatively. Notably, the learned choreographic memory is shown to discover human-interpretable dancing-style poses in an unsupervised manner.

研究の動機と目的

• 物理的ポーズ制約下で空間的に妥当かつ振付的に表現力のある3Dダンスを生成する課題に対処すること。
• 複数のジャンルにわたり、多様なモーショントレインのテンポと音楽のビートの間で時間的整合性を保証すること。
• 手動アノテーションなしで解釈可能で再利用可能なダンスユニットを、非教師あり表現学習によって実現すること。
• 独自のビート同期報酬関数を用いた強化学習により、ダンスの質と音楽との同期性を向上させること。

提案手法

• VQ-VAEに基づく舞踏記憶は、3次元人体ポーズを非教師ありで離散的なコードブックに符号化・量子化し、意味のあるダンスポーズを表現する。
• ポーズシーケンスは上半身と下半身に分割され、それぞれ別々に符号化・量子化されることで、表現能力と構成の柔軟性が向上する。
• アクター・クリティックでファインチューニングされた生成的事前学習済み変換器（GPT）が、音楽特徴量と初期ポーズコードを条件として、将来のポーズコードペアを自己回帰的に予測する。
• クロス条件付き因果アテンションメカニズムにより、自己回帰的デコード中に体の間の相互注意を可能にし、上半身と下半身間の整合的なモーショングenerationを実現する。
• 独自のビート同期報酬関数を用いたオンポリシー強化学習スキームにより、モーショントレインのテンポと音楽のビートを同期させ、同期性が向上する。
• CNNベースのデコーダーが、量子化されたポーズコードから最終的な3Dダンスシーケンスを再構築する。

Figure 2: Dance generation pipeline of Bailando . Given a piece of music, an actor-critic motion GPT autoregressively predicts the future upper-lower pose code pairs according to the music features and starting pose codes. The pose code sequence is then embedded to quantized features via a learned c

実験結果

リサーチクエスチョン

• RQ1 非教師ありVQ-VAEに基づく舞踏記憶は、生の3次元ポーズシーケンスから解釈可能で再利用可能なダンスユニットを効果的に学習できるか？
• RQ2 音楽と初期ポーズを条件として与えた場合、GPTベースのモデルが時間的に整合的で音楽に同期したダンスシーケンスをどのように生成できるか？
• RQ3 クロス条件付きアテンションは、3次元ダンス生成における体間モーショングループの整合性をどの程度向上させるか？
• RQ4 ビート同期報酬関数を用いたアクター・クリティック強化学習は、モーショングループと音楽のビートの同期性を顕著に改善できるか？
• RQ5 提案フレームワークは、定量的指標と定性的なユーザーパーセプションの両面で、既存の最先端手法を上回る性能を示せるか？

主な発見

• 完全なアクター・クリティックGPTモデルはFIDスコア28.16およびビート同期スコア（BAS）0.2332を達成し、ベースラインモデルを著しく上回った。
• 量子化ステップを除外するとFIDが135.41上昇し、ポーズ量子化が動きの質にとって不可欠であることを示した。
• クロス条件付きアテンションを排除すると、上半身で8.66（30％）、下半身で3.70（31％）の動きの質の低下が生じ、体間の整合性に果たす役割を裏付けた。
• アクター・クリティックファインチューニングによりBASは0.2245から0.2332に向上し、FIDは2.20（19％）低下した。報酬ベース最適化の有効性が確認された。
• 舞踏記憶は、脚を上げる動作や二頭身筋を鍛える動き（bicep curls）といった人間が理解可能なダンスポーズを学習しており、個々のコードが明確に区別され、表現力のあるダンスポジションに対応している。
• 本フレームワークにより、コードの選択と遷移のシーケンスとして解釈可能な振付が可能となり、ダンスモーションの分離可能でモジュラーな表現が実現された。

Figure 3: Structure of 3D Pose VQ-VAE. The proposed 3D pose VQ-VAE is learned to encode and summarize meaningful dancing units to choreographic memory, and to reconstruct the target pose sequence from quantized features. The parameters of encoder and decoders and the codebook are jointly learned dur