[论文解读] Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario

Zexin Cai, Yaogen Yang+1 more|arXiv (Cornell University)|May 21, 2020

Speech Recognition and Synthesis参考文献 18被引用 5

一句话总结

本文提出了一种基于Tacotron2的跨语言多说话人文本到语音合成系统，采用共享音素表示与独立的语言标记及说话人嵌入，实现英语和普通话之间高质量、流畅且可懂的语音合成，即使对于仅掌握一种语言的说话人也能合成非母语语音。关键贡献在于：在有限数据条件下，通过双语数据集进行训练，实现了鲁棒的跨语言语音合成，能够生成带有口音但自然的外语语音，同时保持说话人身份的一致性。

ABSTRACT

Modeling voices for multiple speakers and multiple languages in one text-to-speech system has been a challenge for a long time. This paper presents an extension on Tacotron2 to achieve bilingual multispeaker speech synthesis when there are limited data for each language. We achieve cross-lingual synthesis, including code-switching cases, between English and Mandarin for monolingual speakers. The two languages share the same phonemic representations for input, while the language attribute and the speaker identity are independently controlled by language tokens and speaker embeddings, respectively. In addition, we investigate the model's performance on the cross-lingual synthesis, with and without a bilingual dataset during training. With the bilingual dataset, not only can the model generate high-fidelity speech for all speakers concerning the language they speak, but also can generate accented, yet fluent and intelligible speech for monolingual speakers regarding non-native language. For example, the Mandarin speaker can speak English fluently. Furthermore, the model trained with bilingual dataset is robust for code-switching text-to-speech, as shown in our results and provided samples.{https://caizexin.github.io/mlms-syn-samples/index.html}.

研究动机与目标

• 在英语和普通话的有限数据条件下，实现高质量、多说话人、跨语言的文本到语音合成。
• 研究在低资源环境下，是否可将双语说话人的语言特异性知识迁移至单语说话人。
• 利用单语说话人的语音，实现流畅、可懂且自然带口音的代码切换语音合成。
• 在生成带有口音但可懂的非母语语音时，保持说话人身份的保真度。

提出的方法

• 该模型在Tacotron2基础上扩展，通过独立的语言标记和说话人嵌入进行条件控制，实现对语言和说话人身份的独立调控。
• 使用共享音素表示作为英语和普通话的输入，尽管拼写系统不同，仍能实现跨语言对齐。
• 引入一个双语训练数据集（DB-4），以在训练过程中实现双语说话人向单语说话人的知识迁移。
• 模型使用共享文本编码器并结合语言特异性条件，为两种语言生成准确的声谱图。
• 使用WaveRNN声码器对每种模型变体生成的声谱图进行微调，以提升音频质量。
• 分析注意力对齐情况，评估在代码切换场景下，尤其是语言切换时的平滑性。

实验结果

研究问题

• RQ1 单个TTS模型是否能在每种语言数据有限的条件下，为多个说话人生成高质量的语音？
• RQ2 引入双语数据集是否能提升单语说话人在跨语言语音合成中的性能？
• RQ3 单语说话人是否能仅使用自身语音嵌入，生成流畅、可懂且自然带口音的非母语语音？
• RQ4 模型在英语与普通话之间进行代码切换时，其注意力机制如何表现？
• RQ5 在低资源环境下，语言相关知识在双语说话人向单语说话人迁移的范围有多大？

主要发现

• 使用双语数据集（DB-4）训练的CLMS模型在普通话上的自然度MOS达到4.11，英语为3.97，代码切换为3.99，表明在所有语言类型下均实现了高质量的语音合成。
• 在跨语言语音合成中，CLMS模型在英语上的说话人相似度MOS为4.17，代码切换为4.22，表明说话人身份得到良好保持。
• CLMS模型在跨语言语音中的可懂度MOS达到4.47（英语）和4.59（代码切换），表明生成的外语口音语音清晰且易于理解。
• 未使用双语数据的BLMS模型在英语上的可懂度MOS仅为1.25，证实双语数据对有效跨语言迁移至关重要。
• CLMS模型的注意力对齐在语言切换时表现出平滑过渡，而BLMS模型则出现明显断点，表明CLMS模型具有更优的跨语言建模能力。
• 该模型成功为单语说话人（如普通话说话人）生成了流畅、带口音且可懂的英语语音，且具有自然的母语口音。