[论文解读] DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks

Javier Nistal Hurlé, Stefan Lattner+1 more|arXiv (Cornell University)|Aug 27, 2020

Music Technology and Sound Studies参考文献 32被引用 28

一句话总结

DrumGAN 提出了一种用于高保真鼓声合成的条件生成对抗网络（GAN），通过使用感知音色特征（如明亮度、低沉感）作为条件输入，实现直观且具有音乐意义的控制。该模型在音频质量和分布一致性方面优于先前的 U-Net 基线模型，FAD 和 KID 分数更优，同时保持了精确的特征条件控制。

ABSTRACT

Synthetic creation of drum sounds (e.g., in drum machines) is commonly performed using analog or digital synthesis, allowing a musician to sculpt the desired timbre modifying various parameters. Typically, such parameters control low-level features of the sound and often have no musical meaning or perceptual correspondence. With the rise of Deep Learning, data-driven processing of audio emerges as an alternative to traditional signal processing. This new paradigm allows controlling the synthesis process through learned high-level features or by conditioning a model on musically relevant information. In this paper, we apply a Generative Adversarial Network to the task of audio synthesis of drum sounds. By conditioning the model on perceptual features computed with a publicly available feature-extractor, intuitive control is gained over the generation process. The experiments are carried out on a large collection of kick, snare, and cymbal sounds. We show that, compared to a specific prior work based on a U-Net architecture, our approach considerably improves the quality of the generated drum samples, and that the conditional input indeed shapes the perceptual characteristics of the sounds. Also, we provide audio examples and release the code used in our experiments.

研究动机与目标

• 开发一种数据驱动的鼓声合成系统，实现对音色特性的直观、具有音乐意义的控制。
• 解决如 U-Net 等确定性模型的局限性，这些模型音频质量较低且无法有效建模数据方差。
• 通过使用基于感知特征的条件输入的渐进式增长Wasserstein GAN（PGAN），提升生成音频的质量。
• 验证基于连续感知特征的条件输入是否能带来更一致且感知上更准确的声音生成。
• 发布代码和音频样本，以支持可复现性，并便于集成到音乐制作工作流程中。

提出的方法

• 该模型采用渐进式增长Wasserstein GAN（PGAN）架构，从潜在噪声和条件音色特征生成原始音频波形。
• 条件输入由一组通过 Audio Commons 音色模型提取的连续感知特征（如明亮度、粗糙度）提供。
• 在判别器中增加一个辅助回归头，用于预测输入音色特征，并引入额外的均方误差（MSE）损失，以确保生成样本中特征的一致性。
• 生成器训练目标为生成与真实数据分布和指定条件特征均匹配的逼真鼓声样本。
• 模型在包含约 30 万条底鼓、军鼓和 cymbal 样本的大规模数据集上进行训练，并在条件与非条件设置下进行评估。
• 训练结合了对抗损失、感知特征回归损失和标准 GAN 目标，以稳定训练过程并提升样本质量。

实验结果

研究问题

• RQ1 条件 GAN 模型能否生成在感知上逼真且可通过具有音乐意义的特征进行控制的高保真鼓声？
• RQ2 基于连续感知特征（如明亮度、低沉感）的条件输入是否能带来比确定性模型更一致且准确的音色控制？
• RQ3 与先前基于 U-Net 的基线模型相比，所提出的 DrumGAN 模型在音频质量和分布保真度方面表现如何？
• RQ4 判别器中引入的辅助特征回归损失在多大程度上提升了输入条件与输出音色特征之间的一致性？
• RQ5 该模型在多样化鼓声上是否具备泛化能力，同时在生成过程中保持预期的感知特征？

主要发现

• 与 U-Net 基线相比，DrumGAN 在 Fréchet Audio Distance（FAD）和 Kernel Inception Distance（KID）方面均取得显著更优的分数，表明其与真实鼓声样本的分布对齐更佳。
• 与 U-Net 基线相比，FAD 降低约 14 分，KID 最多降低 14 分，表明样本质量与多样性均有提升。
• 特征一致性测试显示，DrumGAN 能够保持对感知特征的稳定控制：例如，明亮度和低沉感的平均准确率分别达到 0.74 和 0.80。
• 尽管在部分特征上平均准确率较低（如硬度、粗糙度），但 DrumGAN 在所有特征上表现出更一致的性能，而 U-Net 则表现出极端波动（如明亮度为 0.99，粗糙度为 0.59）。
• 对抗训练机制使模型能够更好地建模数据方差并实现更高的感知质量，尽管这使得特征预测的确定性降低。
• 该模型成功生成了在感知上一致且适合专业音乐制作的高质量鼓声样本，其有效性通过定量指标和音频示例得到验证。