[论文解读] NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models
NaturalSpeech 3 引入因式分解的神经编解码器(FACodec)和因式分解的扩散模型,以在零-shot TTS 中解耦并生成语音属性(时长、内容、韵律、声学细节、音色),实现最先进的质量和在 LibriSpeech 多说话人数据上的接近人类的自然度。
While recent large-scale text-to-speech (TTS) models have achieved significant progress, they still fall short in speech quality, similarity, and prosody. Considering speech intricately encompasses various attributes (e.g., content, prosody, timbre, and acoustic details) that pose significant challenges for generation, a natural idea is to factorize speech into individual subspaces representing different attributes and generate them individually. Motivated by it, we propose NaturalSpeech 3, a TTS system with novel factorized diffusion models to generate natural speech in a zero-shot way. Specifically, 1) we design a neural codec with factorized vector quantization (FVQ) to disentangle speech waveform into subspaces of content, prosody, timbre, and acoustic details; 2) we propose a factorized diffusion model to generate attributes in each subspace following its corresponding prompt. With this factorization design, NaturalSpeech 3 can effectively and efficiently model intricate speech with disentangled subspaces in a divide-and-conquer way. Experiments show that NaturalSpeech 3 outperforms the state-of-the-art TTS systems on quality, similarity, prosody, and intelligibility, and achieves on-par quality with human recordings. Furthermore, we achieve better performance by scaling to 1B parameters and 200K hours of training data.
研究动机与目标
- 解决通过将语音分解为独立属性子空间(内容、韵律、音色、声学细节)来实现高质量零-shot TTS 的挑战。
- 提出一个因式分解的扩散模型,在相应提示下为每个属性生成。
- 展示在语音质量、说话人相似度、韵律和可懂度方面超越现有基线,其中在多说话人数据上达到接近人类水平的表现。
提出的方法
- 引入 FACodec,一种带有分解向量量化器的神经语音编解码器,用于内容、韵律、声学细节,以及音色提取器,获得全局音色向量。
- 采用信息瓶颈、监督、梯度反转和细节丢弃来改善内容、韵律与声学细节之间的解耦。
- 开发一个因式分解扩散模型,独立在各子空间基于提示生成时长、韵律、内容和声学细节,在每个子空间使用离散扩散,推理时使用无分类器引导。
- 使用非自回归生成框架,先时长生成(先序),以及长度调节器,随后通过 FACodec 解码器进行波形重建。
- 在 Librilight 60k 小时数据上训练,在 LibriSpeech test-clean 和 RAVDESS 进行韵律测试评估,评估指标包括 CMOS、SMOS、SIM-O、SIM-R、WER、MCD 和 MCD-Acc。
实验结果
研究问题
- RQ1将语音因式分解为解耦子空间,能否提升零-shot TTS 的质量、相似性与韵律?
- RQ2因式分解的扩散生成方法在质量与鲁棒性方面是否优于现有大规模 TTS 方法,是否能在多说话人数据上达到接近人类水平的自然度?
主要发现
- NaturalSpeech 3 在 LibriSpeech test-clean 上实现 CMOS 接近真实值,并且在基线之上提升了 SMOS。
- SIM-O 等同性与 SMOS 提升(+0.16)表明与提示的说话人相似性强。
- WER 显示出强健的可懂度,结果超越若干基线,接近真实值表现。
- 在 LibriSpeech 上,NaturalSpeech 3 在质量和相似性方面达到或超过真实值,表明零-shot 多说话人 TTS 的接近人类表现。
- RAVDESS 结果显示改进的 MCD、MCD-Acc 和 SMOS,表明韵律相似性更高。
- 将参数量扩展到 1B 和训练时长 200k 小时可进一步提升表现。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。