[论文解读] FloWaveNet : A Generative Flow for Raw Audio

Sungwon Kim, Sang-gil Lee+3 more|arXiv (Cornell University)|Nov 6, 2018

Music and Audio Processing参考文献 17被引用 30

一句话总结

FloWaveNet 是一种基于流的原始音频合成生成模型，通过仅使用最大似然损失的单阶段训练过程，实现了无需教师网络或辅助损失项的实时、并行波形生成。其音频质量与 Parallel WaveNet 和 ClariNet 等两阶段并行模型相当，同时简化了训练流程并提升了稳定性。

ABSTRACT

Most modern text-to-speech architectures use a WaveNet vocoder for synthesizing high-fidelity waveform audio, but there have been limitations, such as high inference time, in its practical application due to its ancestral sampling scheme. The recently suggested Parallel WaveNet and ClariNet have achieved real-time audio synthesis capability by incorporating inverse autoregressive flow for parallel sampling. However, these approaches require a two-stage training pipeline with a well-trained teacher network and can only produce natural sound by using probability distillation along with auxiliary loss terms. We propose FloWaveNet, a flow-based generative model for raw audio synthesis. FloWaveNet requires only a single-stage training procedure and a single maximum likelihood loss, without any additional auxiliary terms, and it is inherently parallel due to the characteristics of generative flow. The model can efficiently sample raw audio in real-time, with clarity comparable to previous two-stage parallel models. The code and samples for all models, including our FloWaveNet, are publicly available.

研究动机与目标

• 解决自回归 WaveNet 在实时语音合成中推理时间长、训练流程复杂的挑战。
• 克服 Parallel WaveNet 和 ClariNet 等两阶段并行模型的局限性，这些模型需要预训练的教师网络和辅助损失项才能生成逼真音频。
• 开发一种基于流的生成模型，实现仅使用最大似然目标的并行、端到端训练。
• 在简化训练流程并提升稳定性的同时，实现与最先进两阶段模型相当的音频保真度。

提出的方法

• FloWaveNet 使用归一化流建模原始音频波形的概率分布，实现与序列长度无关的并行采样。
• 训练过程中仅使用最大似然损失，避免了知识蒸馏或辅助损失的需求。
• 模型利用可逆耦合层和耦合流，确保精确的似然计算和高效采样。
• 将因果膨胀卷积替换为非因果卷积，以从梅尔频谱图条件中实现双向上下文建模。
• 模型以单阶段端到端方式训练，无需预训练的教师网络。
• 该模型被设计为可直接替换文本到语音系统中的 WaveNet vocoder。

实验结果

研究问题

• RQ1 基于流的生成模型能否在不依赖两阶段训练流程或辅助损失项的情况下，实现实时、高保真原始音频合成？
• RQ2 与 Parallel WaveNet 和 ClariNet 等两阶段并行模型相比，单阶段基于流的模型在音频质量和训练稳定性方面表现如何？
• RQ3 卷积层中的因果性对基于流的语音合成最终音频质量有何影响？
• RQ4 当仅使用最大似然损失训练时，基于流的模型能否实现与两阶段模型相当的感知质量？
• RQ5 在两阶段模型中，不同损失组件（KL 散度与频谱帧损失）在音频质量中扮演什么角色？为何它们是必要的？

主要发现

• 在非因果模式下，FloWaveNet 的平均意见得分（MOS）达到 3.95 ± 0.154，显著优于因果变体（3.36 ± 0.134），证明了双向上下文的优势。
• 非因果版本的 FloWaveNet 通过利用梅尔频谱图条件的前向和后向上下文，生成了更高质量的音频。
• 仅使用 KL 散度损失进行训练会导致模式崩溃和低能量、失真的音频，即使 KL 散度被最小化。
• 仅使用频谱帧损失训练的高斯 IAF 模型会产生噪声大、不稳定的样本，且在训练过程中无法改善，表明必须结合两种损失项。
• 在两阶段模型中，KL 散度与帧损失的组合对生成逼真音频至关重要，因为任一损失项单独使用均无法产生高保真输出。
• 所提出的高斯 IAF 开源实现优于现有公开实现，验证了训练设置的有效性。