[论文解读] Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory

Siyao Li, Weijiang Yu+6 more|arXiv (Cornell University)|Mar 24, 2022

Human Motion and AnimationEngineering被引用 18

一句话总结

Bailando 提出了一种新颖的音乐到3D舞蹈生成框架，该框架利用编舞记忆通过无监督 VQ-VAE 将舞蹈姿态量化为可解释、人类可理解的单元，并采用经过微调的演员-评论家 GPT 与交叉条件注意力机制，生成时间上连贯、节拍对齐的舞蹈序列。该方法在 AIST++ 数据集上实现了最先进性能，显著提升了动作质量和音乐同步性。

ABSTRACT

Driving 3D characters to dance following a piece of music is highly challenging due to the spatial constraints applied to poses by choreography norms. In addition, the generated dance sequence also needs to maintain temporal coherency with different music genres. To tackle these challenges, we propose a novel music-to-dance framework, Bailando, with two powerful components: 1) a choreographic memory that learns to summarize meaningful dancing units from 3D pose sequence to a quantized codebook, 2) an actor-critic Generative Pre-trained Transformer (GPT) that composes these units to a fluent dance coherent to the music. With the learned choreographic memory, dance generation is realized on the quantized units that meet high choreography standards, such that the generated dancing sequences are confined within the spatial constraints. To achieve synchronized alignment between diverse motion tempos and music beats, we introduce an actor-critic-based reinforcement learning scheme to the GPT with a newly-designed beat-align reward function. Extensive experiments on the standard benchmark demonstrate that our proposed framework achieves state-of-the-art performance both qualitatively and quantitatively. Notably, the learned choreographic memory is shown to discover human-interpretable dancing-style poses in an unsupervised manner.

研究动机与目标

• 解决在物理姿态约束下生成空间有效且编舞富有表现力的3D舞蹈的挑战。
• 确保在多种音乐流派中，不同动作速度与音乐节拍之间的时间连贯性。
• 通过无监督表征学习，实现无需人工标注的可解释、可重用舞蹈单元。
• 通过引入新型节拍对齐奖励函数的强化学习，提升舞蹈质量与音乐同步性。

提出的方法

• 基于 VQ-VAE 的编舞记忆能够无监督地学习将3D人体姿态编码并量化为离散码本，以表示有意义的舞蹈姿态。
• 将姿态序列拆分为上半身和下半身两部分，分别进行编码与量化，以提升表征能力与组合灵活性。
• 采用经过微调的生成式预训练变换器（GPT）的演员-评论家模型，自回归地预测未来姿态码对，条件依赖于音乐特征和初始姿态码。
• 通过交叉条件因果注意力机制，在自回归解码过程中实现上下半身之间的相互关注，从而提升动作生成的连贯性。
• 采用基于自定义节拍对齐奖励函数的策略梯度强化学习方案，将动作节奏与音乐节拍对齐，提升同步性。
• 采用基于CNN的解码器，从量化后的姿态码重建最终的3D舞蹈序列。

Figure 2: Dance generation pipeline of Bailando . Given a piece of music, an actor-critic motion GPT autoregressively predicts the future upper-lower pose code pairs according to the music features and starting pose codes. The pose code sequence is then embedded to quantized features via a learned c

实验结果

研究问题

• RQ1 基于无监督 VQ-VAE 的编舞记忆能否有效从原始3D姿态序列中学习到可解释、可重用的舞蹈单元？
• RQ2 当以音乐和初始姿态为条件时，基于 GPT 的模型如何生成时间连贯且与音乐同步的舞蹈序列？
• RQ3 交叉条件注意力在多大程度上提升了3D舞蹈生成中上下半身之间的动作连贯性？
• RQ4 采用节拍对齐奖励函数的演员-评论家强化学习能否显著改善动作与音乐节拍之间的同步性？
• RQ5 所提出的框架在定量指标和定性用户感知方面是否均优于现有最先进方法？

主要发现

• 完整版演员-评论家 GPT 模型的 FID 得分为 28.16，节拍对齐得分（BAS）为 0.2332，显著优于基线模型。
• 移除量化步骤后，FID 增加了 135.41，证明姿态量化对动作质量至关重要。
• 移除交叉条件注意力后，上半身动作质量下降 8.66（30%），下半身下降 3.70（31%），证实其在提升跨肢体连贯性方面的作用。
• 演员-评论家微调将 BAS 从 0.2245 提升至 0.2332，FID 降低 2.20（19%），证实基于奖励的优化方法有效。
• 编舞记忆学习到了人类可理解的舞蹈姿态——如抬腿和肱二头肌卷曲——每个独立代码对应一种独特且富有表现力的舞蹈姿态。
• 该框架实现了可解释的编舞，即通过代码选择与转换的序列实现，提供了舞蹈动作的解耦、模块化表征。

Figure 3: Structure of 3D Pose VQ-VAE. The proposed 3D pose VQ-VAE is learned to encode and summarize meaningful dancing units to choreographic memory, and to reconstruct the target pose sequence from quantized features. The parameters of encoder and decoders and the codebook are jointly learned dur