[论文解读] UniCATS: A Unified Context-Aware Text-to-Speech Framework with Contextual VQ-Diffusion and Vocoding

Chenpeng Du, Yiwei Guo+7 more|arXiv (Cornell University)|Jun 13, 2023

Speech Recognition and Synthesis参考文献 34被引用 4

一句话总结

UniCATS 提出了一种统一的、上下文感知的文本到语音框架，采用上下文 VQ-diffusion 进行语义标记生成，以及上下文声码器进行波形合成，实现了在零样本说话人自适应语音续写和上下文感知语音编辑任务中的最先进性能。该方法通过联合建模左、右上下文，克服了自回归模型的局限性和编码器质量瓶颈，相较于先前方法显著提升了重合成质量。

ABSTRACT

The utilization of discrete speech tokens, divided into semantic tokens and acoustic tokens, has been proven superior to traditional acoustic feature mel-spectrograms in terms of naturalness and robustness for text-to-speech (TTS) synthesis. Recent popular models, such as VALL-E and SPEAR-TTS, allow zero-shot speaker adaptation through auto-regressive (AR) continuation of acoustic tokens extracted from a short speech prompt. However, these AR models are restricted to generate speech only in a left-to-right direction, making them unsuitable for speech editing where both preceding and following contexts are provided. Furthermore, these models rely on acoustic tokens, which have audio quality limitations imposed by the performance of audio codec models. In this study, we propose a unified context-aware TTS framework called UniCATS, which is capable of both speech continuation and editing. UniCATS comprises two components, an acoustic model CTX-txt2vec and a vocoder CTX-vec2wav. CTX-txt2vec employs contextual VQ-diffusion to predict semantic tokens from the input text, enabling it to incorporate the semantic context and maintain seamless concatenation with the surrounding context. Following that, CTX-vec2wav utilizes contextual vocoding to convert these semantic tokens into waveforms, taking into consideration the acoustic context. Our experimental results demonstrate that CTX-vec2wav outperforms HifiGAN and AudioLM in terms of speech resynthesis from semantic tokens. Moreover, we show that UniCATS achieves state-of-the-art performance in both speech continuation and editing.

研究动机与目标

• 为解决自回归模型在语音编辑中的局限性，即在已有前后文信息的情况下仍存在性能瓶颈。
• 克服现有离散标记 TTS 系统中因音频编码器性能限制而导致的音频质量瓶颈。
• 实现无缝、上下文感知的语音合成，确保在续写与编辑任务中均保持自然度与说话人身份一致性。
• 在单一框架下统一语音续写与编辑的处理流程，共享核心组件。

提出的方法

• UniCATS 采用两阶段框架：CTX-txt2vec 负责基于上下文 VQ-diffusion 的语义标记预测，CTX-vec2wav 负责上下文声码器将标记转换为波形。
• CTX-txt2vec 使用基于 Conformer 的文本编码器和时长预测器，将语音和语调上下文条件化于 VQ-diffusion 模型，实现双向上下文融合。
• CTX-txt2vec 中的 VQ-diffusion 模型通过加权损失函数进行训练，结合时长预测与 VQ-diffusion 重建损失，实现高保真语义标记生成。
• CTX-vec2wav 通过语义标记和周围上下文进行条件化波形生成，建模说话人身份与声学连续性。
• 训练过程中，数据被随机划分为上下文 A、目标段 x₀ 和上下文 B，其中 x₀ 通过扩散过程被破坏，以支持去噪训练。
• 语音编辑推理采用从 x_T 到 x₀ 的迭代反向去噪过程，由上下文 A 和 B 引导，并通过时长缩放匹配上下文速度。

实验结果

研究问题

• RQ1 统一的 TTS 框架能否有效利用离散语义标记同时处理语音续写与编辑任务？
• RQ2 与标准自回归模型相比，上下文 VQ-diffusion 在生成质量与上下文融合方面有何提升？
• RQ3 与标准声码器相比，上下文声码器在波形质量与说话人身份保留方面提升程度如何？
• RQ4 该框架能否在零样本说话人自适应与上下文感知编辑任务中均实现最先进性能？

主要发现

• CTX-vec2wav 在从语义标记重合成语音方面优于 HifiGAN 和 AudioLM，展现出更优的波形质量。
• UniCATS 在零样本说话人自适应语音续写任务中达到最先进性能，优于 VALL-E 和 SPEAR-TTS 等模型。
• 该框架成功实现了上下文感知的语音编辑，实现无缝拼接，同时保持自然度与说话人一致性。
• 采用上下文 VQ-diffusion 允许双向上下文建模，突破了自回归模型仅能从左至右生成的限制。
• 通过三种数据配置（同时包含左右上下文、仅含上下文 A、或无上下文）的训练方案，提升了模型泛化能力与鲁棒性。
• 推理算法通过同时依赖前后文进行条件化，成功生成编辑后语音，并通过缩放因子 α 实现时长对齐。