[论文解读] InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt

Dongchao Yang, Songxiang Liu+3 more|arXiv (Cornell University)|Jan 31, 2023

Speech Recognition and Synthesis被引用 5

一句话总结

InstructTTS 提出了一种新颖的富有表现力的文本到语音系统，通过自然语言风格提示来控制语音的语调和情感。它通过向量量化 VQ-VAE 在离散潜在空间中建模声学特征，并采用离散扩散模型生成语音标记，通过互信息最小化实现风格解耦，从而在保持高保真度、多样性和可控性的前提下，提升了语音合成的质量。

ABSTRACT

Expressive text-to-speech (TTS) aims to synthesize different speaking style speech according to human's demands. Nowadays, there are two common ways to control speaking styles: (1) Pre-defining a group of speaking style and using categorical index to denote different speaking style. However, there are limitations in the diversity of expressiveness, as these models can only generate the pre-defined styles. (2) Using reference speech as style input, which results in a problem that the extracted style information is not intuitive or interpretable. In this study, we attempt to use natural language as style prompt to control the styles in the synthetic speech, e.g., "Sigh tone in full of sad mood with some helpless feeling". Considering that there is no existing TTS corpus which is proper to benchmark this novel task, we first construct a speech corpus, whose speech samples are annotated with not only content transcriptions but also style descriptions in natural language. Then we propose an expressive TTS model, named as InstructTTS, which is novel in the sense of following aspects: (1) We fully take the advantage of self-supervised learning and cross-modal metric learning, and propose a novel three-stage training procedure to obtain a robust sentence embedding model, which can effectively capture semantic information from the style prompts and control the speaking style in the generated speech. (2) We propose to model acoustic features in discrete latent space and train a novel discrete diffusion probabilistic model to generate vector-quantized (VQ) acoustic tokens rather than the commonly-used mel spectrogram. (3) We jointly apply mutual information (MI) estimation and minimization during acoustic model training to minimize style-speaker and style-content MI, avoiding possible content and speaker information leakage from the style prompt.

研究动机与目标

• 通过长篇自然语言风格提示而非分类标签或参考语音样本，实现用户可控制的富有表现力的 TTS。
• 解决从非结构化自然语言提示中学习语义风格表征的挑战。
• 通过向量量化声学特征在离散潜在空间中建模富有表现力的 TTS，支持序列到序列的语言建模。
• 通过在训练过程中联合估计并最小化互信息，减少风格、内容和说话人之间的信息泄露。
• 开发一种非自回归、单阶段训练框架，用于基于波形的 VQ 特征，与 VALL-E 等同期模型不同。

提出的方法

• 提出一种三阶段训练流程，以训练鲁棒的句子嵌入模型，从而从自然语言风格提示中捕捉语义含义。
• 使用预训练的 VQ-VAE 在离散潜在空间中建模声学特征，包含两种变体：基于梅尔频谱图的 Mel-VQ 和基于原始波形的 Wave-VQ。
• 训练一种新颖的离散扩散概率模型，以顺序方式生成 VQ 标记，将语音合成视为离散码本空间中的语言建模任务。
• 采用 U-transformer 架构作为扩散解码器，以有效建模潜在空间中的长序列依赖关系。
• 在声学模型训练过程中联合应用互信息（MI）估计与最小化，以减少风格提示中内容和说话人信息的泄露。
• 引入改进的掩码与替换（I-MAR）策略用于扩散训练，提升生成质量与多样性。

Figure 1: (a) shows the model architecture of our proposed InstructTTS. Where SALN denotes the style-adaptive layer normalization adaptor [ 12 ] . (b) shows the details of our proposed style encoder, which aims to extract style features from GT mel-spectrogram (training stage) or style prompt (infer

实验结果

研究问题

• RQ1 在不依赖参考语音或预定义分类标签的情况下，自然语言提示能否有效控制 TTS 中的富有表现力的语调风格？
• RQ2 如何训练一个鲁棒的句子嵌入模型，以从长篇自然语言风格描述中捕捉语义和语调信息？
• RQ3 能否通过基于扩散的生成过程在离散潜在空间中有效建模富有表现力的 TTS？
• RQ4 基于 VQ 的声学表征（梅尔频谱图与波形）对语音合成质量与训练效率有何影响？
• RQ5 在风格、内容与说话人之间进行互信息最小化，在多大程度上能提升基于提示的 TTS 中的解耦与泛化能力？

主要发现

• 所提出的 I-MAR 扩散策略优于标准 MAR，将 MCD 降低 0.03（5.68 vs. 5.71），SSIM 提升 0.02（0.384 vs. 0.364）。
• 基于 Wave-VQ-Diffusion 的 InstructTTS 实现了 STOI 0.615 和 FFE 0.23，表明合成语音具有高可懂性与自然度。
• GRVQ 音频编解码器在重建性能上表现最佳，PESQ 达 3.63，STOI 达 0.95，优于 RVQ 和 Encodec。
• 在 RVQ 中使用 8 个码书将 PESQ 从 3.54 提升至 3.54，但性能增益并未随码书数量线性增长，表明存在模型容量限制。
• 使用相同输入进行 10 次随机推理实验，生成了多样的 F0 曲线，证实 InstructTTS 能生成多样化、非确定性的语音，具有自然的语调变化。
• 模型在未见风格上展现出强大的零样本泛化能力，主观评分表明其对自然语言提示控制具有优异表现。

Figure 2: The model architecture of cross-modal representation learning.