[论文解读] Audio2Gestures: Generating Diverse Gestures from Speech Audio with Conditional Variational Autoencoders

Jing Li, Di Kang+5 more|arXiv (Cornell University)|Aug 15, 2021

Human Pose and Action Recognition参考文献 41被引用 6

一句话总结

本文提出 Audio2Gestures，一种条件变分自编码器，将潜在码分解为共享（由音频驱动）和运动特异性（促进多样性）两部分，以建模语音音频与共言语手势之间的一对多映射关系。通过引入映射网络、松弛运动损失和多样性正则化，该模型生成的运动比以往方法更逼真、更多样化且具备多模态特性，支持通过运动特异性码的操控实现受限的运动编辑。

ABSTRACT

Generating conversational gestures from speech audio is challenging due to the inherent one-to-many mapping between audio and body motions. Conventional CNNs/RNNs assume one-to-one mapping, and thus tend to predict the average of all possible target motions, resulting in plain/boring motions during inference. In order to overcome this problem, we propose a novel conditional variational autoencoder (VAE) that explicitly models one-to-many audio-to-motion mapping by splitting the cross-modal latent code into shared code and motion-specific code. The shared code mainly models the strong correlation between audio and motion (such as the synchronized audio and motion beats), while the motion-specific code captures diverse motion information independent of the audio. However, splitting the latent code into two parts poses training difficulties for the VAE model. A mapping network facilitating random sampling along with other techniques including relaxed motion loss, bicycle constraint, and diversity loss are designed to better train the VAE. Experiments on both 3D and 2D motion datasets verify that our method generates more realistic and diverse motions than state-of-the-art methods, quantitatively and qualitatively. Finally, we demonstrate that our method can be readily used to generate motion sequences with user-specified motion clips on the timeline. Code and more results are at https://jingli513.github.io/audio2gestures.

研究动机与目标

• 为解决传统模型因假设一对一映射而无法捕捉语音音频与共言语手势之间一对多映射关系的挑战。
• 通过显式建模多模态运动输出，提升音频驱动手势生成的运动真实感与多样性。
• 通过允许对运动特异性潜在码进行编辑，实现用户可控的运动合成，以插入预定义手势。
• 通过一种新颖的训练策略（包含松弛损失与多样性正则化），缓解解耦 VAE 中的训练不稳定性。

提出的方法

• 模型将跨模态潜在码分解为共享码（由音频学习）与运动特异性码（独立于音频），以对同一音频输入生成多样化的运动输出。
• 引入映射网络，对齐采样得到的运动特异性噪声与真实运动特异性特征分布，防止性能退化。
• 应用松弛运动损失，仅对远离目标的大幅关节偏移施加惩罚，允许运动特异性码调节运动，同时保持对音频的控制。
• 使用自行车一致性损失与多样性损失，缓解模式崩溃问题，并增强生成序列的运动多样性。
• 运动编码器从参考运动片段中提取运动特异性码，通过码替换实现对生成手势的精确控制。
• 模型在 3D 和 2D 运动数据集上端到端训练，损失函数包括重建损失、共享码损失与正则化损失。

Figure 4: User study results comparing our method against the state-of-the-art methods. “S2G” is short for Speech2Gesture [ 12 ] . The horizontal axis represents the number of samples rated by the participants. In total, 160 comparisons have been rated (40 participants, 4 comparisons each questionna

实验结果

研究问题

• RQ1 具有共享与运动特异性码的解耦潜在空间是否能有效建模语音音频与手势之间的一对多关系？
• RQ2 在 VAE 框架中引入运动特异性潜在码时，如何缓解训练不稳定性与性能退化问题？
• RQ3 该模型能否生成多样、逼真且多模态的手势，并优于一对一映射的基线模型？
• RQ4 运动特异性码在多大程度上可用于编辑并插入预定义手势到生成的运动序列中？

主要发现

• 所提方法的多模态性得分达到 3.68，显著优于基线的 3.44，表明其对多样化运动输出的建模能力更强。
• 模型将平均多样性从 5.86 提升至 6.31，同时保持高真实感，相较于基线模型，L1 损失降低，PCK 指标提高。
• 最终模型在所有定量指标（L1 损失、PCK、多样性与多模态性）上均优于基线，证明其在真实感与多样性方面表现更优。
• 通过替换运动特异性码，模型可实现平滑、逼真的用户定义运动片段插入，验证了其在受限运动编辑中的适用性。
• 松弛运动损失与多样性正则化有效减少了模式崩溃，表现为多样性与多模态性得分持续提升。
• 映射网络对于对齐采样噪声与运动特异性特征至关重要，若缺失该模块，即使多模态性得分提升，性能仍会显著下降。