[论文解读] MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis

Yi Lei, Shan Yang+2 more|arXiv (Cornell University)|Jan 17, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

MsEmoTTS 提出了一种多尺度情感语音合成框架，通过三个专用模块在全局（类别）、话语（语调模式）和局部（音节级强度）三个层次上建模情感。该方法支持通过参考音频迁移、基于文本的情感预测以及手动控制情感强度的灵活情感语音合成，在中文语料库上的情感迁移与预测任务中优于先前的方法。

ABSTRACT

Expressive synthetic speech is essential for many human-computer interaction and audio broadcast scenarios, and thus synthesizing expressive speech has attracted much attention in recent years. Previous methods performed the expressive speech synthesis either with explicit labels or with a fixed-length style embedding extracted from reference audio, both of which can only learn an average style and thus ignores the multi-scale nature of speech prosody. In this paper, we propose MsEmoTTS, a multi-scale emotional speech synthesis framework, to model the emotion from different levels. Specifically, the proposed method is a typical attention-based sequence-to-sequence model and with proposed three modules, including global-level emotion presenting module (GM), utterance-level emotion presenting module (UM), and local-level emotion presenting module (LM), to model the global emotion category, utterance-level emotion variation, and syllable-level emotion strength, respectively. In addition to modeling the emotion from different levels, the proposed method also allows us to synthesize emotional speech in different ways, i.e., transferring the emotion from reference audio, predicting the emotion from input text, and controlling the emotion strength manually. Extensive experiments conducted on a Chinese emotional speech corpus demonstrate that the proposed method outperforms the compared reference audio-based and text-based emotional speech synthesis methods on the emotion transfer speech synthesis and text-based emotion prediction speech synthesis respectively. Besides, the experiments also show that the proposed method can control the emotion expressions flexibly. Detailed analysis shows the effectiveness of each module and the good design of the proposed method.

研究动机与目标

• 为解决现有表现性TTS系统中单尺度情感建模的局限性，这些系统无法捕捉人类语调的多粒度特性。
• 通过三种不同模式实现灵活的情感语音合成：基于参考的风格迁移、基于文本的情感预测以及手动控制情感强度。
• 在三个层次上建模情感：全局情感类别、话语级语调变化和音节级情感强度。
• 通过捕捉不同语音单元上的细微情感差异，提升合成语音的表现力与多样性。

提出的方法

• 该模型采用基于注意力的序列到序列架构，并配备三个专用模块：全局情感表示模块（GM）、话语级情感表示模块（UM）和局部情感表示模块（LM）。
• GM 使用预训练的情感分类器对话语的整体情感类别进行分类，提供全局风格信号。
• UM 通过建模话语中基频和能量的变化，学习话语内的语调模式（例如，语调轮廓）。
• LM 在音节级别分配情感强度值，以控制局部情感强度，实验表明在中文中，音节比音素更适合作为建模单位。
• 通过自适应层归一化，将来自参考音频或文本的情感表征整合到TTS解码器中，实现风格迁移与控制。
• 模型支持端到端训练与多任务学习，其中情感分类与强度预测联合优化。

实验结果

研究问题

• RQ1 在全局、话语和局部三个尺度上建模情感，是否能提升合成情感语音的表现力与自然度？
• RQ2 所提出的多尺度情感表征与单尺度的基于参考或标签的方法相比，在情感迁移与预测任务中的表现如何？
• RQ3 在中文语音中，使用音节级情感强度是否优于音素级或句子级表征，从而提升合成质量？
• RQ4 该模型在通过手动输入情感类别与强度时，能在多大程度上支持灵活的情感控制？

主要发现

• 在中文情感语音语料库上，MsEmoTTS 在情感迁移与情感预测任务中均优于基于参考和基于文本的情感TTS方法。
• 当使用音节级情感强度时，模型的梅尔倒谱失真（MCD）为 4.11 dB，显著低于使用句子级强度时的 4.65 dB，证实了细粒度局部建模的优势。
• 与音素级方法相比，音节级情感强度方法在MCD降低方面提升了1.1%，表明其更适合声调语言如中文。
• 梅尔频谱图与基频轮廓的可视化分析表明，话语级模块（UM）成功捕捉并迁移了参考音频中的基频变化趋势。
• 对全局情感类别与局部情感强度的手动控制，可精确合成目标情感表达，证明了模型的灵活性。
• 当GM与UM使用冲突的参考（例如，不同情感类别）时，合成语音表现出不自然的混合情感，表明全局与话语级语调之间存在相互依赖关系。