[论文解读] Effective parameter estimation methods for an ExcitNet model in generative text-to-speech systems

Ohsung Kwon, Eunwoo Song+2 more|arXiv (Cornell University)|May 21, 2019

Speech Recognition and Synthesis参考文献 24被引用 7

一句话总结

本文提出了一种高质量的生成式文本到语音系统，该系统结合了基于Tacotron 2的序列到序列声学模型与ExcitNet声码器，以提升频谱和激励参数估计的准确性。该方法在情感语音合成中实现了卓越的主观质量，情感语音的MOS评分分别达到4.67（快乐）和4.43（悲伤），显著优于基于WaveNet的系统及先前的参数化TTS系统。

ABSTRACT

In this paper, we propose a high-quality generative text-to-speech (TTS) system using an effective spectrum and excitation estimation method. Our previous research verified the effectiveness of the ExcitNet-based speech generation model in a parametric TTS framework. However, the challenge remains to build a high-quality speech synthesis system because auxiliary conditional features estimated by a simple deep neural network often contain large prediction errors, and the errors are inevitably propagated throughout the autoregressive generation process of the ExcitNet vocoder. To generate more natural speech signals, we exploited a sequence-to-sequence (seq2seq) acoustic model with an attention-based generative network (e.g., Tacotron 2) to estimate the condition parameters of the ExcitNet vocoder. Because the seq2seq acoustic model accurately estimates spectral parameters, and because the ExcitNet model effectively generates the corresponding time-domain excitation signals, combining these two models can synthesize natural speech signals. Furthermore, we verified the merit of the proposed method in producing expressive speech segments by adopting a global style token-based emotion embedding method. The experimental results confirmed that the proposed system significantly outperforms the systems with a similarly configured conventional WaveNet vocoder and our best prior parametric TTS counterpart.

研究动机与目标

• 解决传统深度神经网络在参数估计不准确时导致ExcitNet声码器中误差传播的问题。
• 通过利用带有注意力机制的序列到序列模型，更准确地预测声学特征，从而提升生成式文本到语音的主观质量。
• 通过集成全局风格标记（GST）实现情感感知的语调建模，以支持情感语音合成。
• 证明当与强大的声学估计器结合时，ExcitNet在性能上优于传统的WaveNet声码器以及先前的参数化TTS系统。

提出的方法

• 采用带有位置敏感注意力机制的序列到序列Tacotron 2风格模型，用于估计ExcitNet声码器的频谱和激励参数。
• 声学模型将文本序列编码为嵌入向量，并在自回归解码过程中利用注意力机制对齐目标声学特征。
• ExcitNet通过基于WaveNet的架构建模线性预测（LP）滤波语音信号的残差，生成时域激励信号。
• LP滤波器利用估计的频谱参数，从生成的激励信号中重建语音信号。
• 集成全局风格标记（GST）网络，以学习与情感相关的语调嵌入，并将其与文本嵌入拼接，用于条件化解码器。
• GST网络采用6层2D-CNN与GRU结构，包含10个风格标记和4头注意力机制，以提取高维情感嵌入。

实验结果

研究问题

• RQ1 与传统DNN相比，带有注意力机制的序列到序列声学模型是否能提升ExcitNet在频谱和激励参数估计方面的准确性？
• RQ2 将Tacotron 2与ExcitNet结合，是否能相比使用相同声学模型的WaveNet声码器，实现更高的主观质量？
• RQ3 在ExcitNet框架中，集成全局风格标记在多大程度上提升了情感语音合成的表现？
• RQ4 所提出的系统在情感语音合成方面，于自然度与表现力方面的表现如何？

主要发现

• 所提系统在快乐情感语音上的平均意见得分（MOS）为4.67 ± 0.05，悲伤情感语音为4.43 ± 0.09，显著优于基于WaveNet的基线系统。
• 基于ExcitNet的系统的MOS评分为4.67（快乐）和4.43（悲伤），相较于传统WaveNet声码器（分别为4.27和4.09）表现出更优的主观质量。
• 采用ExcitNet声码器与GST情感建模的系统在情感语音合成方面表现出显著改进，尤其体现在语调与情感自然度方面。
• 所提方法显著优于最佳的先前参数化TTS系统，证实了高精度参数估计与神经声码器结合的有效性。