[论文解读] A Variational Prosody Model for Mapping the Context-Sensitive Variation of Functional Prosodic Prototypes

Branislav Gerazov, Gérard Bailly+3 more|arXiv (Cornell University)|Jun 22, 2018

Speech Recognition and Synthesis参考文献 46被引用 5

一句话总结

本文提出了一种变分韵律模型（VPM），该模型采用变分自编码与深度循环轮廓生成器，学习韵律原型的结构化、上下文敏感潜在空间表征。VPM 能够捕捉超出简单振幅缩放的多参数、时空变化，在建模韵律可变性方面优于先前模型，同时支持从原始语音数据中进行可解释的、解耦的韵律分解。

ABSTRACT

The quest for comprehensive generative models of intonation that link linguistic and paralinguistic functions to prosodic forms has been a longstanding challenge of speech communication research. Traditional intonation models have given way to the overwhelming performance of deep learning (DL) techniques for training general purpose end-to-end mappings using millions of tunable parameters. The shift towards black box machine learning models has nonetheless posed the reverse problem -- a compelling need to discover knowledge, to explain, visualise and interpret. Our work bridges between a comprehensive generative model of intonation and state-of-the-art DL techniques. We build upon the modelling paradigm of the Superposition of Functional Contours (SFC) model and propose a Variational Prosody Model (VPM) that uses a network of variational contour generators to capture the context-sensitive variation of the constituent elementary prosodic contours. We show that the VPM can give insight into the intrinsic variability of these prosodic prototypes through learning a meaningful prosodic latent space representation structure. We also show that the VPM is able to capture prosodic phenomena that have multiple dimensions of context based variability. Since it is based on the principle of superposition, the VPM does not necessitate the use of specially crafted corpora for the analysis, opening up the possibilities of using big data for prosody analysis. In a speech synthesis scenario, the model can be used to generate a dynamic and natural prosody contour that is devoid of averaging effects.

研究动机与目标

• 解决以解耦且可解释方式建模上下文敏感、多参数韵律可变性的挑战。
• 通过引入变分编码，弥合传统生成韵律模型与现代深度学习之间的差距。
• 通过有意义的低维潜在空间表征，实现对内在韵律可变性的发现。
• 通过在大规模数据上端到端深度学习，减少对专门整理语料库的依赖。
• 通过生成动态、非平均化的韵律轮廓，支持语音合成应用。

提出的方法

• VPM 采用深度神经网络，结合变分轮廓生成器，通过变分编码将输入上下文映射到潜在空间。
• 每个轮廓生成器基于语言和副语言上下文进行条件控制，并使用重参数化技巧，实现通过随机采样进行反向传播。
• 模型通过反向传播联合训练，以最小化预测与目标韵律轮廓之间的重构误差。
• 通过叠加方式将韵律分解为基本功能原型（陈词），实现对语调、节奏及伴随言语动作的多参数建模。
• 通过变分推断对潜在空间进行结构化处理，实现对韵律形状与时间上上下文特定变化的解耦表征。
• 模型在两种语言上使用 Morlec 和 Chen 数据库进行评估，与 SFC、WSFC 及基于 Merlin 的基线模型进行性能比较。

实验结果

研究问题

• RQ1 具有变分编码的深度生成模型能否有效捕捉超越振幅缩放的上下文敏感韵律原型变化？
• RQ2 VPM 在多语言和副语言维度上，能否有效学习结构化、解耦的韵律可变性潜在空间表征？
• RQ3 VPM 在建模韵律轮廓方面，与先前的分解模型（SFC、WSFC）及标准深度学习基线相比，性能提升程度如何？
• RQ4 VPM 是否能在无需专门整理语料库的情况下，泛化到大规模、非结构化语音数据？
• RQ5 模型从潜在空间采样时，能否揭示内在韵律可变性，包括时空动态特性？

主要发现

• VPM 通过潜在空间的前两个主成分捕捉了 88% 的韵律轮廓变异，而原始 SFC 模型仅捕捉 81%。
• 在捕捉超越振幅缩放的形状变化方面，VPM 优于加权 SFC（WSFC）模型，PCA 分解中表现出更高的解释方差。
• 即使在无上下文条件的情况下，VPM 的随机采样过程仍能捕捉有意义的韵律变异，尽管存在局部平均效应，导致轮廓振幅降低。
• 该模型成功学习了多个态度功能（如陈述、疑问、感叹）的统一韵律潜在空间，展示了对功能韵律的解耦表征能力。
• VPM 在性能上可与或优于标准深度学习基线，同时提供可解释的、解耦的韵律表征。
• 该模型的架构支持生成动态、非平均化的韵律轮廓，适用于高保真语音合成应用。