[论文解读] Expressive TTS Training with Frame and Style Reconstruction Loss

Rui Liu, Berrak Şişman+2 more|arXiv (Cornell University)|Aug 4, 2020

Speech Recognition and Synthesis参考文献 90被引用 20

一句话总结

本文提出了一种针对基于Tacotron的文本到语音（TTS）系统的新型训练策略，通过结合帧级重建损失与话语级风格重建损失（利用感知特征），提升了语音表达的自然度与表现力。该方法在无需韵律标注或运行时风格控制机制的情况下，实现了自然度与表现力的最先进性能，优于标准Tacotron与GST-Tacotron基线模型。

ABSTRACT

We propose a novel training strategy for Tacotron-based text-to-speech (TTS) system to improve the expressiveness of speech. One of the key challenges in prosody modeling is the lack of reference that makes explicit modeling difficult. The proposed technique doesn't require prosody annotations from training data. It doesn't attempt to model prosody explicitly either, but rather encodes the association between input text and its prosody styles using a Tacotron-based TTS framework. Our proposed idea marks a departure from the style token paradigm where prosody is explicitly modeled by a bank of prosody embeddings. The proposed training strategy adopts a combination of two objective functions: 1) frame level reconstruction loss, that is calculated between the synthesized and target spectral features; 2) utterance level style reconstruction loss, that is calculated between the deep style features of synthesized and target speech. The proposed style reconstruction loss is formulated as a perceptual loss to ensure that utterance level speech style is taken into consideration during training. Experiments show that the proposed training strategy achieves remarkable performance and outperforms a state-of-the-art baseline in both naturalness and expressiveness. To our best knowledge, this is the first study to incorporate utterance level perceptual quality as a loss function into Tacotron training for improved expressiveness.

研究动机与目标

• 为解决在无显式韵律标注的情况下建模表达性韵律的挑战。
• 通过在Tacotron训练中引入感知风格重建，提升话语级语音表现力。
• 消除推理过程中手动或学习风格标记选择的需求。
• 实现端到端的韵律风格学习，直接从文本学习，无需附加机制。
• 验证话语级感知损失在帧级重建之外，能够进一步提升表达性语音合成。

提出的方法

• 该方法引入双目标训练策略：在合成与目标谱特征之间计算帧级重建损失。
• 采用基于预训练语音情感识别（SER）模型提取的深层风格特征计算风格重建损失。
• 将风格重建损失表述为感知损失，以保留话语级韵律特征。
• 在Tacotron训练过程中联合优化组合损失函数，实现声学与表达性内容的联合学习。
• 使用风格描述网络（SER模型）提取高层风格表征，用于感知损失计算。
• 该方法应用于Tacotron，并通过消融实验与标准Tacotron及GST-Tacotron基线进行性能对比。

实验结果

研究问题

• RQ1 话语级感知损失是否能在无韵律标注的情况下提升Tacotron的表达性语音合成？
• RQ2 结合帧级与风格级重建损失是否能优于现有方法，实现更高的自然度与表现力？
• RQ3 所提方法是否能在无需运行时风格控制或风格标记选择的情况下实现更优性能？
• RQ4 与GST-Tacotron相比，该训练策略在收敛速度与音频质量方面表现如何？
• RQ5 将预训练SER模型作为风格描述器在多大程度上提升了韵律建模能力？

主要发现

• 所提出的Tacotron-PL模型在客观与主观评估中均优于标准Tacotron与GST-Tacotron（Tacotron-ST）基线模型。
• 在主观MOS测试中，Tacotron-PL的得分显著高于Tacotron与Tacotron-ST，表明其自然度与表现力更优。
• AB偏好测试显示，Tacotron-PL在100%的对比中均被优先选择，且结果具有统计显著性。
• 该模型的MCD（6.58）、RMSE（1.14）与FD（14.18）均低于Tacotron-ST，表明其声学保真度更优。
• Tacotron-PL在训练过程中展现出最佳收敛轨迹，表明优化过程稳定且高效。
• 该方法成功学习生成表达性语音，且无需韵律标注或运行时风格控制机制。