[论文解读] EDGE: Editable Dance Generation From Music

Jonathan Tseng, Rodrigo Castellon+1 more|arXiv (Cornell University)|Nov 19, 2022

Music Technology and Sound Studies被引用 4

一句话总结

EDGE 是一种基于扩散模型的生成模型，可生成可编辑、符合物理规律的舞蹈动作，且与音乐同步。该模型利用 Jukebox 提取音频特征，并采用 Transformer 架构实现关节级条件控制与插值。通过引入一种新型的物理足部接触评分（Physical Foot Contact Score），EDGE 在性能上达到当前最先进水平，并通过用户研究验证了其在质量上优于以往方法。

ABSTRACT

Dance is an important human art form, but creating new dances can be difficult and time-consuming. In this work, we introduce Editable Dance GEneration (EDGE), a state-of-the-art method for editable dance generation that is capable of creating realistic, physically-plausible dances while remaining faithful to the input music. EDGE uses a transformer-based diffusion model paired with Jukebox, a strong music feature extractor, and confers powerful editing capabilities well-suited to dance, including joint-wise conditioning, and in-betweening. We introduce a new metric for physical plausibility, and evaluate dance quality generated by our method extensively through (1) multiple quantitative metrics on physical plausibility, beat alignment, and diversity benchmarks, and more importantly, (2) a large-scale user study, demonstrating a significant improvement over previous state-of-the-art methods. Qualitative samples from our model can be found at our website.

研究动机与目标

• 开发一种生成逼真、长时长舞蹈动作的方法，确保其符合物理规律并与音乐同步。
• 通过提出一种基于物理的新型度量标准，解决现有评估指标的局限性，以衡量足部接触的一致性。
• 在统一的生成框架中实现强大的编辑功能，如关节级条件控制与插值。
• 通过定量指标与大规模人类评估，将舞蹈生成质量提升至超越以往最先进方法的水平。

提出的方法

• 训练一个基于 Transformer 的扩散模型，从随机噪声中去噪潜在舞蹈序列，条件输入为音乐嵌入。
• 利用预训练的音乐生成模型 Jukebox 提供高层音频表征，作为扩散过程中的交叉注意力上下文。
• 提出一种新型的接触一致性损失（Contact Consistency Loss），通过在时间步上强制保持一致的足部接触行为，减少足部滑动。
• 提出物理足部接触评分（PFC）作为基于加速度的、受物理启发的度量标准，用于评估物理合理性，而无需显式动力学模拟。
• 通过关节级条件控制与插值支持可编辑生成，使用户能够指定运动约束。
• 通过拼接局部一致的短片段生成长序列，实现任意长度的输出。

Figure 2 : EDGE Pipeline Overview: EDGE learns to denoise dance sequences from time $t=T$ to $t=0$ , conditioned on music. Music embedding information is provided by a frozen Jukebox model [ 5 ] and acts as cross-attention context. EDGE takes a noisy sequence $\bm{z}_{T}\sim\mathcal{N}(0,\bm{I})$ an

实验结果

研究问题

• RQ1 基于扩散模型的生成方法能否生成长时长、符合物理规律且与音乐同步的舞蹈序列，并具备强大的可编辑性？
• RQ2 现有的舞蹈生成自动化度量标准是否能准确反映人类评估的质量？
• RQ3 像 PFC 这样的学习型度量标准，能否在无需显式物理模拟的情况下，有效捕捉运动学动作的物理合理性？
• RQ4 与手工设计的音频特征相比，Jukebox 特征的引入在多大程度上提升了舞蹈生成质量？
• RQ5 关节级条件控制与插值等编辑功能在多大程度上增强了用户控制力与动作质量？

主要发现

• EDGE 在 AIST++ 数据集上达到最先进性能，在用户研究中显著优于以往方法。
• 物理足部接触评分（PFC）能有效识别并惩罚足部滑动，提升物理合理性，且无需依赖物理仿真。
• 用户研究表明，EDGE 生成的舞蹈在真实感与音乐同步性方面均优于以往最先进模型生成的结果。
• 先前工作中使用的节拍对齐度量标准存在缺陷，会错误惩罚如双倍速或半倍速编排等有效非节拍对齐动作。
• PFC 度量标准与人类评估的相关性优于传统 FID 风格的度量标准，后者在动作生成任务中被证明不可靠。
• EDGE 支持灵活编辑，包括关节级条件控制与插值，使用户能对生成的舞蹈序列实现精确控制。

Figure 3 : Although EDGE is trained on 5-second clips, it can generate choreographies of any length by imposing temporal constraints on batches of sequences. In this example, EDGE constrains the first 2.5 seconds of each sequence to match the last 2.5 seconds of the previous one to generate a 12.5-s