[论文解读] Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis

Eric Battenberg, Soroosh Mariooryad+5 more|arXiv (Cornell University)|Jun 8, 2019

Speech Recognition and Synthesis参考文献 24被引用 43

一句话总结

Capacitron 将 embedding capacity 作为统一的框架用于变分端到端 TTS，显示通过将变分后验以文本和说话人作为条件，可以实现多样化迁移与高质量的先验采样，且分层潜在变量控制保真度与变异性。

ABSTRACT

Recent work has explored sequence-to-sequence latent variable models for expressive speech synthesis (supporting control and transfer of prosody and style), but has not presented a coherent framework for understanding the trade-offs between the competing methods. In this paper, we propose embedding capacity (the amount of information the embedding contains about the data) as a unified method of analyzing the behavior of latent variable models of speech, comparing existing heuristic (non-variational) methods to variational methods that are able to explicitly constrain capacity using an upper bound on representational mutual information. In our proposed model (Capacitron), we show that by adding conditional dependencies to the variational posterior such that it matches the form of the true posterior, the same model can be used for high-precision prosody transfer, text-agnostic style transfer, and generation of natural-sounding prior samples. For multi-speaker models, Capacitron is able to preserve target speaker identity during inter-speaker prosody transfer and when drawing samples from the latent prior. Lastly, we introduce a method for decomposing embedding capacity hierarchically across two sets of latents, allowing a portion of the latent variability to be specified and the remaining variability sampled from a learned prior. Audio examples are available on the web.

研究动机与目标

• 以 embedding capacity（表示性互信息）为统一视角分析潜变量 TTS 模型的动机。
• 证明 KL 项上界 embedding capacity，并且可以通过拉格朗日乘子进行控制以达到期望的容量。
• 证明将变分后验以文本和说话人条件化可实现多任务迁移（韵律迁移、风格迁移）并产生自然的先验采样。
• 引入分层潜在结构以解耦高层与低层的变异性，并实现受控的迁移与采样。

提出的方法

• 将 embedding capacity 定义为受 KL(q(z|x)||p(z)) 上界的近似互信息量。
• 使用带容量约束 C 的拉格朗日目标 min_theta max_beta>=0，来界定平均 embedding capacity（R^avg）。
• 通过将文本和说话人信息注入后验预测器，使变分后验匹配真实后验。
• 采用分层潜在方案（z_H, z_L），并设定容量上限 C_H 与 C_L，以分离高层与低层变异性。
• 通过比较同文本迁移、跨文本风格迁移、跨说话人迁移，以及在有无条件依赖的模型上的先验采样来评估。
• 在实验中将 128 维嵌入作为固定容量设置。

实验结果

研究问题

• RQ1 是否可以将 embedding capacity 作为统一度量，用于比较变分与启发式 TTS 方法在韵律/风格迁移上的表现？
• RQ2 将变分后验以文本和说话人条件化，是否能在各任务上实现高保真迁移和自然的先验采样？
• RQ3 分层潜在分解如何影响迁移保真度与样本多样性？
• RQ4 通过拉格朗日方法的固定容量界限，是否能在单-speaker 与 多说话人 TTS 中实现稳健的迁移与采样？

主要发现

• 嵌入容量控制实现一致的迁移行为：在文本和说话人条件下的更高容量带来更好的迁移，同时不牺牲先验样本质量。
• Var+Txt+Spk 相较于不含说话人条件的变体（SpkID 和 MOS 提升）在跨说话人迁移方面更强，且更接近地保持目标说话人身份。
• 在包含条件依赖时，通过先验采样仍然可行且听起来自然；分层潜在变量允许在保真度与样本变异之间权衡（通过 C_H 与 C_L）。
• 在跨说话人迁移中，Var+Txt+Spk 在转移样本上的 MOS 为 4.099，SpkID 为 95.8%；先验样本 MOS 为 3.906，SpkID 为 94.9%；基线的 MOS 约为 4.086，SpkID 约为 95.7%（真实值为 MOS 4.535，SpkID 96.9%）。
• 分层潜在显示，增大 C_H 会降低参考距离（MCD-DTW），而增大 C_L 则提升样本间的变异性，从而实现对迁移真实感的可控性。