[论文解读] ESPnet-TTS: Unified, Reproducible, and Integratable Open Source End-to-End Text-to-Speech Toolkit

Tomoki Hayashi, Ryuichi Yamamoto+7 more|arXiv (Cornell University)|Oct 24, 2019

Speech Recognition and Synthesis参考文献 41被引用 12

一句话总结

ESPnet-TTS 是一个基于 ESPnet 框架构建的开源端到端文本到语音工具包，提供统一、可复现的配方，支持最先进的模型如 Tacotron2、Transformer TTS 和 FastSpeech。其在 LJSpeech 数据集上的平均意见得分（MOS）达到 4.25，与领先工具包相当，并支持与自动语音识别（ASR）无缝集成，实现联合训练与评估。

ABSTRACT

This paper introduces a new end-to-end text-to-speech (E2E-TTS) toolkit named ESPnet-TTS, which is an extension of the open-source speech processing toolkit ESPnet. The toolkit supports state-of-the-art E2E-TTS models, including Tacotron~2, Transformer TTS, and FastSpeech, and also provides recipes inspired by the Kaldi automatic speech recognition (ASR) toolkit. The recipes are based on the design unified with the ESPnet ASR recipe, providing high reproducibility. The toolkit also provides pre-trained models and samples of all of the recipes so that users can use it as a baseline. Furthermore, the unified design enables the integration of ASR functions with TTS, e.g., ASR-based objective evaluation and semi-supervised learning with both ASR and TTS models. This paper describes the design of the toolkit and experimental evaluation in comparison with other toolkits. The experimental results show that our models can achieve state-of-the-art performance comparable to the other latest toolkits, resulting in a mean opinion score (MOS) of 4.25 on the LJSpeech dataset. The toolkit is publicly available at https://github.com/espnet/espnet.

研究动机与目标

• 开发一个统一、可复现且可集成的端到端文本到语音工具包，以加速语音合成领域的研究。
• 通过标准化的、类似 Kaldi 的配方，支持最先进的端到端 TTS 模型，如 Tacotron2、Transformer TTS 和 FastSpeech。
• 通过将 TTS 配方设计与成熟的 ESPnet ASR 配方框架对齐，实现高度可复现性。
• 通过支持自动语音识别（ASR）集成，促进联合训练与评估，例如基于 ASR 的客观评估和半监督学习。
• 提供预训练模型和生成的样本，以实现即时基线测试与演示。

提出的方法

• 该工具包扩展了 ESPnet 框架，支持使用统一、类似 Kaldi 的配方实现端到端 TTS，标准化数据准备、训练和推理流程。
• 实现了多种最先进的 TTS 架构：Tacotron2、Transformer TTS 和 FastSpeech，后端基于 PyTorch。
• 该设计支持与 ASR 模型的联合训练与评估，可通过字符错误率（CER）实现客观评估，并支持半监督学习。
• 支持神经声码器（如 WaveNet 和 WaveRNN）以实现高质量语音生成。
• 为所有配方提供预训练模型和推理样本，确保即用性和可复现性。
• 该工具包支持多说话人 TTS 和通过共享嵌入空间与统一训练流程实现的说话人适应。

实验结果

研究问题

• RQ1 能否在现有 ASR 框架之上构建一个统一、可复现且可集成的端到端 TTS 工具包，以提升研究效率？
• RQ2 ESPnet-TTS 在感知质量与推理速度方面与其它领先开源端到端 TTS 工具包相比表现如何？
• RQ3 ASR 与 TTS 在共享框架下联合训练与评估的可行程度如何？
• RQ4 该工具包能否在 LJSpeech 等标准基准上实现最先进性能，且用户配置极少？
• RQ5 模型架构（如自回归与非自回归）对推理速度与质量的影响如何？

主要发现

• ESPnet-TTS 在 LJSpeech 数据集上实现了 4.25 的平均意见得分（MOS），表明其感知质量达到最先进水平，与其它领先工具包相当。
• 使用音素输入的 Transformer TTS 模型（v3）达到最高 MOS（4.25），优于 Tacotron2 和其他基线模型。
• FastSpeech 实现了最快的推理速度，GPU 上的实时因子（RTF）为 0.003——比 Transformer TTS 快 200 倍，比 Tacotron2 快 30 倍。
• Tacotron2 和 Transformer TTS 模型的 MOS 分数相近（4.14–4.20），表明不同架构间性能表现高度一致。
• 该工具包在 MOS 上显著优于传统 SPSS 系统（如 Merlin，MOS 为 2.69），证实了端到端学习的优越性。
• ASR 与 TTS 的集成使得可通过字符错误率（CER）实现客观评估，证明了联合训练与评估的可行性。