[论文解读] Diffsound: Discrete Diffusion Model for Text-to-sound Generation

Dongchao Yang, Jianwei Yu+5 more|arXiv (Cornell University)|Jul 20, 2022

Music and Audio Processing被引用 8

一句话总结

本文提出 Diffsound，一种用于文本到声音生成的非自回归离散扩散模型，相较于自回归基线模型在生成速度和质量方面均有提升。通过基于扩散的迭代过程预测并优化梅尔频谱图标记，Diffsound 实现了 3.56 的 MOS 得分，推理速度比自回归方法快五倍，同时保持了高保真度音频和文本-声音对齐效果。

ABSTRACT

Generating sound effects that humans want is an important topic. However, there are few studies in this area for sound generation. In this study, we investigate generating sound conditioned on a text prompt and propose a novel text-to-sound generation framework that consists of a text encoder, a Vector Quantized Variational Autoencoder (VQ-VAE), a decoder, and a vocoder. The framework first uses the decoder to transfer the text features extracted from the text encoder to a mel-spectrogram with the help of VQ-VAE, and then the vocoder is used to transform the generated mel-spectrogram into a waveform. We found that the decoder significantly influences the generation performance. Thus, we focus on designing a good decoder in this study. We begin with the traditional autoregressive decoder, which has been proved as a state-of-the-art method in previous sound generation works. However, the AR decoder always predicts the mel-spectrogram tokens one by one in order, which introduces the unidirectional bias and accumulation of errors problems. Moreover, with the AR decoder, the sound generation time increases linearly with the sound duration. To overcome the shortcomings introduced by AR decoders, we propose a non-autoregressive decoder based on the discrete diffusion model, named Diffsound. Specifically, the Diffsound predicts all of the mel-spectrogram tokens in one step and then refines the predicted tokens in the next step, so the best-predicted results can be obtained after several steps. Our experiments show that our proposed Diffsound not only produces better text-to-sound generation results when compared with the AR decoder but also has a faster generation speed, e.g., MOS: 3.56 extit{v.s} 2.786, and the generation speed is five times faster than the AR decoder.

研究动机与目标

• 为解决缺乏能从自然语言描述中生成高保真、上下文相关音频的有效文本到声音生成模型的问题。
• 克服自回归标记解码器的局限性，包括因序列预测导致的误差累积和生成速度缓慢的问题。
• 设计一种基于离散扩散建模的非自回归标记解码器，以实现更快、更准确的梅尔频谱图标记生成。
• 开发客观评估指标——FID、KL 散度和音频字幕损失，以全面评估音频质量、保真度和文本对齐程度。
• 发布代码、预训练模型和生成样本，以支持可复现性并推动文本到声音生成领域的进一步研究。

提出的方法

• 该框架使用文本编码器从输入描述中提取文本特征，随后利用这些特征来条件化基于离散扩散的非自回归标记解码器。
• 标记解码器通过去噪扩散过程生成梅尔频谱图标记：首先一步预测所有标记，然后通过迭代方式逐步优化以提高准确性。
• 预训练的 VQ-VAE 将梅尔频谱图压缩为离散标记序列，从而实现在离散潜在空间中的序列建模。
• 声码器（如 MelGAN）将生成的梅尔频谱图转换为最终波形，完成音频合成流程。
• 扩散过程采用噪声调度 αₜ 和 βₜ，其中 αₜ = 1 - Kβₜ，反向过程通过学习的去噪步骤恢复原始标记序列。
• 模型通过重建损失与扩散目标的组合进行训练，并通过迭代优化减少预测误差。

实验结果

研究问题

• RQ1 非自回归的基于扩散的标记解码器是否在文本到声音生成方面，无论在质量还是速度上，均优于自回归模型？
• RQ2 在离散扩散模型中，迭代优化机制是否能有效减少与自回归生成相比的误差累积？
• RQ3 所提出的客观评估指标（FID、KL 散度、音频字幕损失）在多大程度上能可靠评估生成音频样本的保真度和相关性？
• RQ4 与现有最先进方法相比，所提出的 Diffsound 模型在真实世界文本到声音生成基准上的表现如何？
• RQ5 该模型是否能泛化到多样的音效，并保持与多样化文本提示的强对齐能力？

主要发现

• Diffsound 达到平均意见得分（MOS）3.56，显著优于自回归基线模型（2.786），表明其感知质量更优。
• 该模型的推理速度比自回归基线快五倍，显著提升了生成效率。
• 客观评估指标（FID、KL 散度、音频字幕损失）与人类评估结果高度相关，验证了其在自动化评估中的有效性。
• 基于扩散的标记解码器中的迭代优化过程有效减少了误差传播，从而实现了更精确的梅尔频谱图生成。
• 该模型在多样化文本提示上表现出良好的泛化能力，能够生成上下文相关且感知上合理的音效。
• 作者在 http://dongchaoyang.top/text-to-sound-synthesis-demo/ 发布了代码、预训练模型和样本生成结果，支持社区访问与可复现性。