[论文解读] NAUTILUS: a Versatile Voice Cloning System

Hieu-Thi Luong, Junichi Yamagishi|arXiv (Cornell University)|May 22, 2020

Speech Recognition and Synthesis参考文献 78被引用 14

一句话总结

NAUTILUS 是一个统一的端到端语音克隆系统，利用多说话人预训练框架，仅需五分钟未转录语音即可克隆未见过的语音，在文本到语音和语音转换模式下均实现了最先进性能，且说话人一致性高。它根据可用数据动态调整克隆策略，可在多种数据场景下灵活适应。

ABSTRACT

We introduce a novel speech synthesis system, called NAUTILUS, that can generate speech with a target voice either from a text input or a reference utterance of an arbitrary source speaker. By using a multi-speaker speech corpus to train all requisite encoders and decoders in the initial training stage, our system can clone unseen voices using untranscribed speech of target speakers on the basis of the backpropagation algorithm. Moreover, depending on the data circumstance of the target speaker, the cloning strategy can be adjusted to take advantage of additional data and modify the behaviors of text-to-speech (TTS) and/or voice conversion (VC) systems to accommodate the situation. We test the performance of the proposed framework by using deep convolution layers to model the encoders, decoders and WaveNet vocoder. Evaluations show that it achieves comparable quality with state-of-the-art TTS and VC systems when cloning with just five minutes of untranscribed speech. Moreover, it is demonstrated that the proposed framework has the ability to switch between TTS and VC with high speaker consistency, which will be useful for many applications.

研究动机与目标

• 开发一个统一的语音克隆系统，无缝集成文本到语音（TTS）和语音转换（VC）功能。
• 在极小数据条件下实现高质量语音克隆，具体为仅需来自未见过说话人的五分钟未转录语音。
• 设计一种可适应不同数据条件（如带标签与无标签、数据充足与稀缺）的灵活克隆策略。
• 在 TTS 与 VC 模式之间切换时，保持高说话人相似度与自然度。
• 通过可学习的说话人向量与共享编码器，实现说话人身份与语言内容的解耦。

提出的方法

• 利用多说话人语音语料库对 TTS 和 VC 任务的共享编码器与解码器进行预训练。
• 采用与说话人无关的语音编码器，从未转录语音中提取说话人嵌入，实现零样本语音克隆。
• 应用文本编码器（有监督或无监督）将音素序列映射为语言表征，通过微调实现适应。
• 使用基于 WaveNet 的神经声码器，从声学特征生成高保真波形。
• 支持两种克隆策略：有监督（使用转录数据）与无监督（仅使用未转录语音），并根据数据可用性动态切换。
• 引入语言潜在空间（LLE）分析，以比较和验证文本编码器与语音编码器表征之间的对齐情况。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能在保持高说话人一致性的同时，在 TTS 和 VC 中均实现最先进性能？
• RQ2 仅使用五分钟未转录语音、无需任何转录文本，语音克隆效果如何？
• RQ3 在发音准确度与说话人相似度方面，有监督与无监督适应策略的选择会产生多大影响？
• RQ4 在不同说话人条件下，学习到的语言潜在表征在文本编码器与语音编码器之间对齐程度如何？
• RQ5 系统是否能根据数据可用性与质量的变化动态调整行为，以优化整体性能？

主要发现

• NAUTILUS 仅需五分钟未转录语音即可实现最先进水平的语音克隆性能，其表现与专用的 SOTA TTS 和 VC 系统相当或更优。
• 在母语为英语的说话人中（如 p294），无监督克隆策略优于有监督策略，因为文本编码器已与自然发音良好对齐。
• 有监督策略在非母语说话人中（如 MF6）提升了说话人相似度，但以发音质量下降为代价，表明其能有效适应第二语言口音。
• LLE 分析证实，对于母语说话人，文本与语音编码器的表征对齐良好；而对于非母语说话人则出现错位，而有监督策略有助于纠正此问题。
• 系统通过在 TTS 与 VC 模式间无缝切换并保持一致的说话人身份，展现出高度灵活性与鲁棒性。
• 互补技术如焊接步骤与语言循环一致性损失可略微降低 WER，表明在实际部署中仍有进一步优化空间。