[论文解读] Drum Beats and Where To Find Them: Sampling Drum Patterns from a Latent Space

Alexey Tikhonov, Ivan P. Yamshchikov|arXiv (Cornell University)|Jan 1, 2020

Music and Audio Processing参考文献 24被引用 1

一句话总结

本文引入了一个大规模的鼓点模式数据集，并提出使用对抗性约束自编码器（ACAI）来学习鼓点模式生成的解耦且可插值的潜在空间。与标准变分自编码器相比，ACAI生成的鼓点模式更具连贯性且风格更丰富，这是首次将ACAI应用于鼓点合成，取得了更优的定性与结构化结果。

ABSTRACT

This paper presents a large dataset of drum patterns and compares two different architectures of artificial neural networks that produce latent explorable spaces with some recognizable genre areas. Adversarially constrained autoencoder interpolations (ACAI) show better results in comparison with a standard variational autoencoder. To our knowledge, this is the first application of ACAI to drum-pattern generation.

研究动机与目标

• 创建一个大规模且多样的鼓点模式数据集，以支持音乐生成研究。
• 探究对抗性约束自编码器（ACAI）是否能比标准变分自编码器学习到更具解耦性和可解释性的鼓点模式潜在空间。
• 通过插值和潜在空间探索，评估生成鼓点模式的质量与风格一致性。
• 展示使用ACAI进行结构化、面向音乐的序列生成在鼓点模式建模中的可行性与优势。

提出的方法

• 作者收集并整理了一个涵盖多种音乐风格的真实世界鼓点模式大规模数据集。
• 在鼓点模式数据集上训练标准变分自编码器（VAE）和对抗性约束自编码器（ACAI），以学习潜在表征。
• ACAI引入判别器网络，以提升所学潜在空间的质量与多样性，促进生成结果的真实感与语义一致性。
• 在两种模型中均执行潜在空间插值，以评估生成模式的平滑性与音乐连贯性。
• 通过生成模式的定性分析及其风格匹配度感知，对模型进行评估。
• 对潜在空间进行探索，以识别与可辨识音乐风格特征相对应的聚类与过渡。

实验结果

研究问题

• RQ1 与标准VAE相比，ACAI学习到的潜在空间是否能生成更具连贯性与多样性的鼓点模式？
• RQ2 ACAI的潜在空间是否支持在鼓点模式之间进行有意义的插值，且具有可感知的音乐过渡？
• RQ3 潜在空间中是否存在可识别且语义明确的聚类，对应于不同的音乐风格？
• RQ4 对抗性训练如何提升所学鼓点模式表征的质量与解耦程度？

主要发现

• 与标准VAE相比，ACAI模型生成的鼓点模式插值更具连贯性且音乐上更合理。
• ACAI模型的潜在空间表现出更清晰的按风格聚类，表明音乐特征的解耦效果更优。
• ACAI潜在空间中的插值可实现模式间平滑过渡，且保持一致的节奏与风格特征。
• ACAI模型展现出更强的生成能力，可生成新颖、逼真的鼓点模式，同时保持节奏完整性与风格一致性。