[论文解读] A Spectral Energy Distance for Parallel Speech Synthesis

Alexey A. Gritsenko, Tim Salimans+3 more|arXiv (Cornell University)|Aug 3, 2020

Speech and Audio Processing参考文献 36被引用 20

一句话总结

本文提出了一种谱能量距离（SED）损失，用于训练并行、非自回归的语音合成模型，无需依赖可计算的似然函数或对抗性训练。通过在生成样本之间引入排斥项，SED 作为一种合适的评分规则，确保了统计一致性，并实现了稳定、快速的训练，在隐式生成模型中达到了最先进水平的性能，且与 GAN 结合后进一步提升了性能。

ABSTRACT

Speech synthesis is an important practical generative modeling problem that has seen great progress over the last few years, with likelihood-based autoregressive neural models now outperforming traditional concatenative systems. A downside of such autoregressive models is that they require executing tens of thousands of sequential operations per second of generated audio, making them ill-suited for deployment on specialized deep learning hardware. Here, we propose a new learning method that allows us to train highly parallel models of speech, without requiring access to an analytical likelihood function. Our approach is based on a generalized energy distance between the distributions of the generated and real audio. This spectral energy distance is a proper scoring rule with respect to the distribution over magnitude-spectrograms of the generated waveform audio and offers statistical consistency guarantees. The distance can be calculated from minibatches without bias, and does not involve adversarial learning, yielding a stable and consistent method for training implicit generative models. Empirically, we achieve state-of-the-art generation quality among implicit generative models, as judged by the recently-proposed cFDSD metric. When combining our method with adversarial techniques, we also improve upon the recently-proposed GAN-TTS model in terms of Mean Opinion Score as judged by trained human evaluators.

研究动机与目标

• 解决自回归语音合成模型效率低下、每秒音频需要数万个顺序步骤的问题。
• 为隐式语音生成模型开发一种稳定、非对抗性的训练方法，且无需访问解析似然函数。
• 通过基于频谱图分布的合适评分规则，提升并行语音合成中的样本多样性和生成质量。
• 通过结合所提出的谱能量距离与高效网络架构及对抗性训练，实现更快、更高质量的音频生成。

提出的方法

• 该方法引入了一种广义能量距离（GED），其作用于生成音频和真实音频波形的幅度谱图上。
• 谱能量距离包含生成样本之间的排斥项，可促进多样性并确保统计一致性。
• 损失从迷你批次中无偏计算，支持高效且稳定的优化。
• 该方法应用于训练非自回归模型，结合多分辨率谱图损失与额外的排斥组件。
• 提出了一种高效的重叠-相加上采样模块以加快推理速度，并将该方法与基于 GAN 的训练结合以进一步提升性能。
• 通过 cFDSD 指标和人类评估者的平均意见得分（MOS）对方法进行了验证。

实验结果

研究问题

• RQ1 能否设计一种无需似然函数的训练目标，以确保在并行语音合成中具有统计一致性和稳定收敛？
• RQ2 在生成样本之间引入排斥项是否能提升隐式生成模型中的样本多样性和生成质量？
• RQ3 所提出的谱能量距离是否在感知质量与指标得分方面优于现有隐式模型？
• RQ4 将谱能量距离与对抗性训练结合后，对语音质量和模型稳定性有何影响？
• RQ5 该方法能否在使用高效架构的同时实现更快的推理速度，且保持高保真度的音频生成？

主要发现

• 所提出的谱能量距离在 cFDSD 指标上实现了隐式生成模型中的最先进性能，表现出更优的样本质量和多样性。
• 与对抗学习结合后，该方法取得了 4.25±0.06 的平均意见得分（MOS），优于仅使用 GED 的模型和 GAN-TTS 基线模型。
• 使用谱能量距离训练的 iSTFT 生成器架构在仅 10,000 次参数更新内即达到最优的 cFDSD 得分，推理速度约为 GAN-TTS 生成器的一半。
• 使用谱能量距离训练的模型表现出快速收敛，在 10,000–20,000 次更新内即达到良好性能，但若未使用正则化则在长期训练中出现过拟合。
• 该方法可在无对抗损失的情况下实现稳定训练，且实证表明排斥项对实现最优生成质量至关重要。
• 广义能量距离是首个包含排斥项的此类合适评分规则，与先前基于谱图的损失形成鲜明区别。