[论文解读] Voice Conversion Using Sequence-to-Sequence Learning of Context Posterior Probabilities

Hiroyuki Miyoshi, Yuki Saito+2 more|arXiv (Cornell University)|Apr 10, 2017

Speech Recognition and Synthesis参考文献 19被引用 11

一句话总结

本文提出了一种用于语音转换的序列到序列学习框架，将源语音的上下文后验概率转换为目标语音的后验概率，从而更好地建模说话人特异性特征（如语速和音素特性）。通过联合训练语音识别、后验概率转换和语音合成模块，该方法在说话人相似度和语音质量方面优于传统使用共享后验概率的语音转换方法。

ABSTRACT

Voice conversion (VC) using sequence-to-sequence learning of context posterior probabilities is proposed. Conventional VC using shared context posterior probabilities predicts target speech parameters from the context posterior probabilities estimated from the source speech parameters. Although conventional VC can be built from non-parallel data, it is difficult to convert speaker individuality such as phonetic property and speaking rate contained in the posterior probabilities because the source posterior probabilities are directly used for predicting target speech parameters. In this work, we assume that the training data partly include parallel speech data and propose sequence-to-sequence learning between the source and target posterior probabilities. The conversion models perform non-linear and variable-length transformation from the source probability sequence to the target one. Further, we propose a joint training algorithm for the modules. In contrast to conventional VC, which separately trains the speech recognition that estimates posterior probabilities and the speech synthesis that predicts target speech parameters, our proposed method jointly trains these modules along with the proposed probability conversion modules. Experimental results demonstrate that our approach outperforms the conventional VC.

研究动机与目标

• 解决传统语音转换在迁移说话人特异性特征（如语速和音素特性）方面的局限性。
• 开发一种序列到序列模型，将源语音后验概率映射到目标后验概率，实现非线性、可变长度的转换。
• 提出一种联合训练算法，整合语音识别、后验概率转换和语音合成模块，实现端到端优化。
• 在客观指标（如梅-倒谱失真）和主观质量方面提升语音转换性能，尤其在说话人相似度方面。

提出的方法

• 引入编码器-解码器架构，学习从源语音后验概率序列到目标后验概率序列的非线性、可变长度映射。
• 在文本依赖的语音转换框架中，于传统语音识别与语音合成模块之间插入后验概率转换模块。
• 采用三部分的联合训练：语音识别、后验概率转换和语音合成，使用共享的目标函数。
• 语音识别训练使用交叉熵，语音合成训练使用均方误差，通过联合优化改善对齐与表征。
• 利用部分平行数据（如匹配短语对）监督后验概率的序列到序列转换。
• 训练和评估期间应用动态时间规整（DTW）进行对齐，但结果表明序列到序列学习可减少DTW引起的频谱失真。

实验结果

研究问题

• RQ1 序列到序列学习上下文后验概率能否改善语音转换中说话人特异性特征（如语速和音素特性）的迁移？
• RQ2 与单独训练相比，联合训练识别、转换和合成模块对语音转换性能有何影响？
• RQ3 所提方法是否能减少非平行数据中对齐误差引起的频谱失真？
• RQ4 联合训练在主观评估中对说话人相似度和语音质量的提升程度如何？

主要发现

• 主观XAB测试确认，所提方法在说话人相似度方面优于传统语音转换方法（p < 0.05），显著提升了说话人相似度。
• 与单独训练的模块相比，联合训练识别和合成模块使自编码过程中的梅-倒谱失真降低了1.2 dB。
• 即使在使用单独训练的识别和合成模块时，所提方法的梅-倒谱失真仍比传统语音转换低0.8 dB。
• 主观评估显示，尽管所提方法提升了说话人相似度，但由于音素特性迁移中的转换错误，语音质量略有下降。
• 三模块（识别、转换、合成）的联合训练导致概率输出更平滑，这可能与单独训练模块相比导致性能次优。
• 序列到序列方法有效缓解了由动态时间规整引起的频谱失真，可视化结果（图8）显示后验概率序列更清晰。