[论文解读] Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech

Zhengxi Liu, Qiao Tian+6 more|arXiv (Cornell University)|Jul 13, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出 CLONE，一种单阶段、非自回归的端到端文本到语音模型，可在 48 kHz 下实现无损、高保真语音合成，同时支持可控的语调。该模型引入了一种基于归一化流的变分自编码器，用于音素级语调建模，并采用双并行自编码器，利用真实声学特征监督中间表征，从而在无需自回归生成的情况下实现最先进的语音质量与稳健的语调控制。

ABSTRACT

Some recent studies have demonstrated the feasibility of single-stage neural text-to-speech, which does not need to generate mel-spectrograms but generates the raw waveforms directly from the text. Single-stage text-to-speech often faces two problems: a) the one-to-many mapping problem due to multiple speech variations and b) insufficiency of high frequency reconstruction due to the lack of supervision of ground-truth acoustic features during training. To solve the a) problem and generate more expressive speech, we propose a novel phoneme-level prosody modeling method based on a variational autoencoder with normalizing flows to model underlying prosodic information in speech. We also use the prosody predictor to support end-to-end expressive speech synthesis. Furthermore, we propose the dual parallel autoencoder to introduce supervision of the ground-truth acoustic features during training to solve the b) problem enabling our model to generate high-quality speech. We compare the synthesis quality with state-of-the-art text-to-speech systems on an internal expressive English dataset. Both qualitative and quantitative evaluations demonstrate the superiority and robustness of our method for lossless speech generation while also showing a strong capability in prosody modeling.

研究动机与目标

• 通过建模超出基频和能量的通用语调变化，解决端到端 TTS 中的一对多映射问题。
• 通过在训练过程中引入真实声学特征的监督，改善单阶段 TTS 中的高频重建。
• 在非自回归、单阶段框架下，实现端到端、可控且无损的语音合成。
• 通过解耦、可学习的语调潜在变量，支持富有表现力的语音合成。

提出的方法

• 使用带有归一化流的变分自编码器对音素级语调潜在变量进行建模，以捕捉复杂且高变异的语调信息。
• 通过语调预测器从输入音素推断语调潜在变量的先验分布，实现端到端训练。
• 双并行自编码器（DPA）采用两个并行编码器——一个用于声学特征，一个用于后验波形——以及一个共享的波形解码器，利用真实线性倒谱图正则化学习到的表征。
• 引入多带判别器（MBD）以加速收敛并提升生成波形的高频细节。
• 硬对齐语调提取器（HAPE）相比基于软注意力的方法，显著提升了语调提取的准确性。

实验结果

研究问题

• RQ1 非自回归、单阶段 TTS 模型是否能在不依赖中间表征的情况下实现无损 48 kHz 语音合成？
• RQ2 统一的隐式语调建模方法是否能有效解耦并控制超出基频和能量的通用语调变化？
• RQ3 通过双自编码器架构引入真实声学特征的监督，是否能显著改善端到端 TTS 中的高频重建？
• RQ4 所提方法是否能实现可控的语调迁移与准确的语调重建？

主要发现

• CLONE 在内部富有表现力的英文数据集上实现了最先进的语音质量，在客观与主观评估中均优于当前最先进的两阶段与单阶段 TTS 模型。
• 双并行自编码器（DPA）有效减少了高频过度平滑现象，并增强了高频细节，如谱图对比与 MOS 评估所示。
• 多带判别器（MBD）显著加速了模型收敛，并提升了波形质量，尤其在高频分量方面表现突出。
• 语调迁移实验表明，CLONE 能够准确地将参考说话人的语调迁移到目标说话人，其基频 MAE 降低 47.9%，能量 MAE 降低 11.0%，相比端到端合成。
• 通过后验编码器进行语调重建实现了高保真度，基频与能量曲线与参考音频高度匹配，表明语调提取准确。
• 硬对齐语调提取器（HAPE）在语调提取中相比软注意力（SAPE）实现了更低的 MAE，证明其在语调表征学习中具有更高的准确性。