[论文解读] Fast Diffusion GAN Model for Symbolic Music Generation Controlled by Emotions

Jincheng Zhang, György Fazekas+1 more|arXiv (Cornell University)|Oct 21, 2023

Music Technology and Sound Studies被引用 4

一句话总结

该论文提出了一种用于符号音乐生成的快速扩散GAN模型，仅通过四步去噪即可实现精确的情绪控制，与需要数千步的最先进扩散模型相比，显著缩短了推理时间。通过利用VAE学习的嵌入表示，并结合基于GAN的去噪器，该模型在四象限情绪控制任务中实现了69.1%的准确率，生成了高质量、情绪可控的音乐，优于先前方法。

ABSTRACT

Diffusion models have shown promising results for a wide range of generative tasks with continuous data, such as image and audio synthesis. However, little progress has been made on using diffusion models to generate discrete symbolic music because this new class of generative models are not well suited for discrete data while its iterative sampling process is computationally expensive. In this work, we propose a diffusion model combined with a Generative Adversarial Network, aiming to (i) alleviate one of the remaining challenges in algorithmic music generation which is the control of generation towards a target emotion, and (ii) mitigate the slow sampling drawback of diffusion models applied to symbolic music generation. We first used a trained Variational Autoencoder to obtain embeddings of a symbolic music dataset with emotion labels and then used those to train a diffusion model. Our results demonstrate the successful control of our diffusion model to generate symbolic music with a desired emotion. Our model achieves several orders of magnitude improvement in computational cost, requiring merely four time steps to denoise while the steps required by current state-of-the-art diffusion models for symbolic music generation is in the order of thousands.

研究动机与目标

• 为解决生成式音乐模型在生成与特定情绪状态一致的音乐作品方面所面临的挑战，特别是在符号音乐中的应用。
• 克服标准扩散模型在离散符号音乐生成中计算效率低下的问题，后者通常需要数千步去噪。
• 通过将扩散模型与GAN结合，实现更快采样和更优分布覆盖，从而实现高质量、可控制的音乐生成。
• 探索将扩散模型应用于情绪条件化符号音乐生成的可行性，这是该领域的一项新颖应用。

提出的方法

• 该模型使用预训练的变分自编码器（VAE）将符号音乐编码为连续潜在嵌入，随后利用这些嵌入训练扩散模型。
• 将生成对抗网络（GAN）作为去噪网络集成进来，以加速采样过程，实现在仅四个时间步内完成生成。
• 通过在扩散过程中将去噪网络基于EMOPIA数据集中的情绪标签进行条件化，实现情绪控制，采用多模态情感模型进行建模。
• 模型在来自EMOPIA数据集的嵌入上进行训练，该数据集包含1,087段流行钢琴音乐片段，标注了四个象限中的效价与唤醒水平。
• 使用弗雷chet距离（FD）和最大均值差异（MMD）评估潜在空间相似性，结果显示在四步内即收敛至原始数据分布。
• 通过微调的双向LSTM结合自注意力机制，对生成音乐的情感内容进行分类，以评估情绪控制性能。

实验结果

研究问题

• RQ1 能否在保持高样本质量与快速推理的前提下，有效将扩散模型适配于离散符号音乐生成？
• RQ2 能否通过基于GAN的去噪器将符号音乐生成中扩散模型所需的去噪步数减少至仅四步，同时不损失质量？
• RQ3 能否成功地将扩散模型基于情绪属性（效价与唤醒）进行条件化，以生成匹配指定情绪目标的音乐？
• RQ4 与现有最先进符号音乐生成模型相比，该模型在情绪控制准确率和采样效率方面表现如何？

主要发现

• 所提模型在四象限情绪任务中实现了69.1%的情绪控制准确率，显著优于先前最先进方法（41.8%）。
• 在仅控制唤醒度的情况下，模型准确率达到90.6%，表明其在控制唤醒水平方面具有强大能力。
• 该模型仅通过四步去噪即可生成高质量音乐，与通常需要约1,000步的标准扩散模型相比，计算成本降低了几个数量级。
• 弗雷chet距离与MMD指标显示，四步后生成的嵌入在潜在空间中与原始数据分布高度接近，表明样本生成质量高。
• t-SNE可视化结果表明，生成样本在相同情绪类别下与原始数据聚类紧密，尤其在唤醒度方面表现优异，支持了有效控制。
• 模型揭示，效价建模比唤醒度更具挑战性，其中21.4%的HAHV条件样本被误分类为HALV，表明效价建模存在固有复杂性。