[论文解读] Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations

Ju-Chieh Chou, Cheng-chieh Yeh+2 more|arXiv (Cornell University)|Apr 9, 2018

Speech and Audio Processing参考文献 29被引用 8

一句话总结

该论文提出了一种单模型、对抗性框架，用于无平行数据的多目标语音转换，通过使用带有对抗性训练的条件自编码器，将与说话人无关的语言内容与说话人身份解耦。该方法采用残差精炼网络，实现了高质量、清晰的语音谱，提升了自然度和说话人相似度，在20个目标说话人的客观与主观评估中得到验证。

ABSTRACT

Recently, cycle-consistent adversarial network (Cycle-GAN) has been successfully applied to voice conversion to a different speaker without parallel data, although in those approaches an individual model is needed for each target speaker. In this paper, we propose an adversarial learning framework for voice conversion, with which a single model can be trained to convert the voice to many different speakers, all without parallel data, by separating the speaker characteristics from the linguistic content in speech signals. An autoencoder is first trained to extract speaker-independent latent representations and speaker embedding separately using another auxiliary speaker classifier to regularize the latent representation. The decoder then takes the speaker-independent latent representation and the target speaker embedding as the input to generate the voice of the target speaker with the linguistic content of the source utterance. The quality of decoder output is further improved by patching with the residual signal produced by another pair of generator and discriminator. A target speaker set size of 20 was tested in the preliminary experiments, and very good voice quality was obtained. Conventional voice conversion metrics are reported. We also show that the speaker information has been properly reduced from the latent representations.

研究动机与目标

• 通过单个模型实现无需平行训练数据的多目标说话人语音转换。
• 在语音表征中实现语言内容与说话人身份的解耦，以实现鲁棒的语音转换。
• 通过残差信号精炼减少过度平滑并提升频谱锐度，从而改善语音质量。
• 通过引入说话人分类器验证对抗性训练在潜在表征中实现解耦的有效性。
• 在客观指标和主观人类评估中，相较于先前的无监督方法，展示出更优的性能。

提出的方法

• 训练一个条件自编码器，将输入语音编码为与说话人无关的潜在表征，解码器使用目标说话人嵌入重建原始语谱图。
• 在编码器旁联合训练一个辅助说话人分类器，以对抗性方式确保潜在表征中去除说话人特征。
• 在第二阶段引入第二对生成器-判别器，用于生成一个残差信号，以增强解码器输出，提升频谱锐度和感知质量。
• 将残差信号与解码器输出逐元素相加，判别器通过辅助说话人分类器训练，以保留目标说话人特征。
• 训练分为两个阶段：首先预训练自编码器和分类器，然后以5:1的比例联合训练残差生成器和判别器，以稳定学习过程。
• 模型使用平均绝对误差（MAE）作为重建损失，采用Adam优化器，学习率为0.0001，betas为(0.5, 0.9)。

实验结果

研究问题

• RQ1 单个语音转换模型能否在无平行训练数据的情况下泛化到多个目标说话人？
• RQ2 通过说话人分类器进行对抗性训练，在潜在表征中能在多大程度上实现说话人身份与语言内容的解耦？
• RQ3 残差信号精炼是否能显著提升转换语音的感知质量与频谱锐度？
• RQ4 与Cycle-GAN-VC相比，该方法在无平行数据条件下，自然度与说话人相似度表现如何？
• RQ5 语谱图的全局方差能否作为语音转换中感知语音质量的可靠代理指标？

主要发现

• 所提方法在所有评估方法中取得了最高的全局方差（M2M为0.0394，M2F为0.0401，F2M为0.0389，F2F为0.0333），表明频谱锐度更优。
• 主观评估显示，第二阶段的残差精炼显著提升了自然度与说话人相似度，优于仅使用第一阶段的结果。
• 尽管未使用平行数据，所提模型在自然度与说话人相似度方面与Cycle-GAN-VC相比达到相当或更优的性能。
• 在潜在表征上的说话人验证准确率从无分类器时的0.916下降至使用分类器后的0.451，证实了说话人身份的有效解耦。
• 通过语谱图可视化与人工偏好测试，证实该模型能以高感知质量实现跨性别别及同性别配对的语音转换。
• 该框架在推理阶段支持可变长度输入，可与基于循环网络的组件实现实际部署。