[论文解读] Mixture Density Network for Phone-Level Prosody Modelling in Speech Synthesis.

Chenpeng Du, Kai Yu|arXiv (Cornell University)|Feb 1, 2021

Speech Recognition and Synthesis参考文献 27被引用 6

一句话总结

本文提出一种基于高斯混合模型（GMM）的混合密度网络（MDN），用于文语合成中的音素级韵律建模。通过用基于GMM的MDN替代传统的单峰高斯分布，该方法更有效地捕捉复杂的韵律变化，在LJSpeech数据集上显著提升了韵律多样性与语音自然度，同时保持了高效的推理速度。

ABSTRACT

Recent researches on both utterance-level and phone-level prosody modelling successfully improve the voice quality and naturalness in text-to-speech synthesis. However, most of them model the prosody with a unimodal distribution such like a single Gaussian, which is not reasonable enough. In this work, we focus on phone-level prosody modelling where we introduce a Gaussian mixture model(GMM) based mixture density network. Our experiments on the LJSpeech dataset demonstrate that GMM can better model the phone-level prosody than a single Gaussian. The subjective evaluations suggest that our method not only significantly improves the prosody diversity in synthetic speech without the need of manual control, but also achieves a better naturalness. We also find that using the additional mixture density network has only very limited influence on inference speed.

研究动机与目标

• 解决单峰韵律建模（如单个高斯分布）的局限性，后者无法捕捉语音韵律中的固有变异性。
• 通过采用更灵活的分布建模音素级韵律，提升合成语音的多样性与自然度。
• 开发一种可微分的、端到端可训练的框架，将韵律建模直接集成到TTS流程中。
• 评估所提出的基于GMM的MDN在推理速度上是否与标准模型相当。

提出的方法

• 使用混合密度网络（MDN）建模在音素级上下文条件下韵律特征的条件分布。
• 将MDN的标准单高斯输出替换为高斯混合模型（GMM），以更好地捕捉多模态韵律变化。
• 采用可微分的GMM组件参数化方式（均值、方差和混合权重），以支持端到端训练。
• 在LJSpeech数据集上进行训练，以音素嵌入作为输入，预测韵律特征（如基频f0、能量和时长）。
• 应用重参数化技术，使在训练过程中可通过GMM采样过程进行反向传播。
• 通过轻量级的GMM嵌入MDN架构，保持高效推理速度，计算开销极小。

实验结果

研究问题

• RQ1 基于GMM的混合密度网络是否比单峰高斯分布更有效地建模音素级韵律？
• RQ2 所提出的方法是否能在无需人工控制的情况下提升合成语音的韵律多样性与自然度？
• RQ3 与标准TTS模型相比，GMM嵌入MDN对推理速度有何影响？
• RQ4 在主观评估中，该模型在自然度与表现力方面表现如何？

主要发现

• 与使用单个高斯分布的模型相比，基于GMM的MDN在合成语音中显著提升了韵律多样性。
• 主观评估结果证实，所提方法的自然度评分显著高于基线模型。
• 该模型的推理速度与标准MDN基TTS系统几乎完全一致，表明计算开销极小。
• 该方法成功建模了复杂的、多模态的音素级韵律模式，而单峰模型则无法捕捉此类模式。
• 尽管缺乏人工韵律控制，但模型通过从数据中学习多样化的韵律变化，有效弥补了这一不足。