[论文解读] Hierarchical Generative Modeling for Controllable Speech Synthesis

Wei-Ning Hsu, Yu Zhang+10 more|arXiv (Cornell University)|Oct 16, 2018

Speech Recognition and Synthesis参考文献 26被引用 45

一句话总结

本文提出 GMVAE-Tacotron，一种神经 TTS 模型，具有两级分层潜变量（离散的 y_l 和连续的 z_l），在 VAE 框架内使用高斯混合先验，以可控地合成具有说话人、风格和噪声属性的语音。

ABSTRACT

This paper proposes a neural sequence-to-sequence text-to-speech (TTS) model which can control latent attributes in the generated speech that are rarely annotated in the training data, such as speaking style, accent, background noise, and recording conditions. The model is formulated as a conditional generative model based on the variational autoencoder (VAE) framework, with two levels of hierarchical latent variables. The first level is a categorical variable, which represents attribute groups (e.g. clean/noisy) and provides interpretability. The second level, conditioned on the first, is a multivariate Gaussian variable, which characterizes specific attribute configurations (e.g. noise level, speaking rate) and enables disentangled fine-grained control over these attributes. This amounts to using a Gaussian mixture model (GMM) for the latent distribution. Extensive evaluation demonstrates its ability to control the aforementioned attributes. In particular, we train a high-quality controllable TTS model on real found data, which is capable of inferring speaker and style attributes from a noisy utterance and use it to synthesize clean speech with controllable speaking style.

研究动机与目标

• 为数据中很少标注的属性（说话风格、口音、背景噪声、录音条件）提供可控的 TTS 动机。
• 提出一种基于分层变分自编码器的模型，将标注的说话人属性与未标注的潜在属性进行解耦。
• 证明可解释的潜在簇学习以及用于多样化、可控语音的采样机制。
• 在具有不同录音条件的真实数据以及看不见的说话人上展示有效性。

提出的方法

• 扩展 Tacotron 2，包含用高斯混合建模的两级潜变量。
• 将 p(y_l) 设为均匀先验，p(z_l|y_l) 设为对角高斯，形成潜在空间的 GMM 先验。
• 通过 VAE 框架中的编码器网络推断后验 q(z_l|X) 与 q(y_l|X)，并优化 ELBO。
• 引入一个观测属性表示 z_o，以捕捉与观测标签相关的类内变异。
• 将合成器条件化于 z_l、z_o、y_o（在可用时）以实现对潜在属性的解耦控制。
• 采用基于 Tacotron-2 的合成器并结合 WaveRNN 语音鳴器，以实现高效训练和高质量输出。

实验结果

研究问题

• RQ1 两级潜在空间（离散的 y_l 和连续的 z_l）是否能够捕捉并解耦潜在的语音属性，如风格、噪声和韵律？
• RQ2 高斯混合先验是否有助于对潜在属性进行可解释的聚类并为多样化语音合成提供鲁棒的采样？
• RQ3 模型是否能够从嘈杂或未见过的说话人中学习推断与说话人无关的潜在属性，并仍然生成高质量的清晰语音？
• RQ4 在不同数据集上，GMVAE-Tacotron 与 GST、VAE 以及基线 Tacotron-2 在自然性和 SNR 的比较如何？
• RQ5 是否可以在保持说话人身份的同时，独立地对说话风格和噪声属性进行采样与控制？

主要发现

• GMVAE-Tacotron 实现了对应于清洁/嘈杂条件和说话人特征等属性的可解释潜在簇。
• 该模型证明了对说话人、噪声和风格属性的解耦控制，能够独立地操作每个因素。
• 在一个嘈杂的多说话人语料库上，GMVAE 能为在嘈杂训练数据的说话人合成清晰语音，达到比基线更高的 MOS 和 SNR。
• 连续潜在空间支持带可控属性的采样，产生多样而自然的韵律和说话风格。
• 实验表明混合组件与说话人组（如口音、性别）具有高度一致性，并且对诸如 F0 和语速等属性的每一维实现控制。