[论文解读] Investigation of Using Disentangled and Interpretable Representations for One-shot Cross-lingual Voice Conversion

Seyed Hamidreza Mohammadi, Tae-Hwan Kim|arXiv (Cornell University)|Aug 15, 2018

Speech Recognition and Synthesis参考文献 24被引用 7

一句话总结

本文提出了一种基于因子分解分层变分自编码器（FHVAE）的解耦且可解释的表征学习方法，用于零样本跨语言语音转换，仅需单个目标说话人语音样本即可实现高质量的语音转换。与VAE-STFT和GMM基线模型相比，该方法在语音质量和说话人相似度方面表现更优，尤其在使用World声码器特征而非STFT时优势更为显著。

ABSTRACT

We study the problem of cross-lingual voice conversion in non-parallel speech corpora and one-shot learning setting. Most prior work require either parallel speech corpora or enough amount of training data from a target speaker. However, we convert an arbitrary sentences of an arbitrary source speaker to target speaker's given only one target speaker training utterance. To achieve this, we formulate the problem as learning disentangled speaker-specific and context-specific representations and follow the idea of [1] which uses Factorized Hierarchical Variational Autoencoder (FHVAE). After training FHVAE on multi-speaker training data, given arbitrary source and target speakers' utterance, we estimate those latent representations and then reconstruct the desired utterance of converted voice to that of target speaker. We investigate the effectiveness of the approach by conducting voice conversion experiments with varying size of training utterances and it was able to achieve reasonable performance with even just one training utterance. We also examine the speech representation and show that World vocoder outperforms Short-time Fourier Transform (STFT) used in [1]. Finally, in the subjective tests, for one language and cross-lingual voice conversion, our approach achieved significantly better or comparable results compared to VAE-STFT and GMM baselines in speech quality and similarity.

研究动机与目标

• 解决在非平行、零样本设置下，仅使用极少目标说话人数据时的跨语言语音转换挑战。
• 探究解耦且可解释的潜在表征在跨语言场景中保持语音上下文与说话人身份方面的有效性。
• 评估不同语音表征（尤其是World声码器与STFT）对语音转换性能的提升作用。
• 评估源说话人与目标说话人训练语音样本数量变化对转换质量的影响。
• 在主观测试中将所提方法与VAE-STFT和GMM基线模型在语音质量与说话人相似度方面进行比较。

提出的方法

• 该方法采用因子分解分层变分自编码器（FHVAE）学习解耦的潜在表征，将说话人身份与语言上下文分离。
• 从单个目标说话人语音样本中推断说话人身份的潜在码，从源说话人语音样本中推断语音上下文的潜在码。
• 通过将源说话人的语言内容与目标说话人的说话人特异性表征相结合，重建目标说话人的语音。
• 使用梅尔倒谱（MCEP）及其他声学特征评估语音表征，结果表明World声码器在性能上优于STFT。
• 该框架在多说话人数据上进行训练，并通过极少量目标数据进行微调以实现零样本推理。
• 主观评估采用平均意见评分（MOS）和同/不同说话人相似度测试，以评估语音质量与说话人身份保留程度。

实验结果

研究问题

• RQ1 解耦且可解释的表征是否能够仅通过一个目标说话人语音样本，实现有效的零样本跨语言语音转换？
• RQ2 语音表征的选择（如World声码器与STFT）如何影响语音转换的质量与相似度？
• RQ3 当目标说话人训练语音样本数量减少至仅一个时，性能是否出现显著下降或稳定性降低？
• RQ4 在主观语音质量与说话人相似度方面，所提方法与VAE-STFT和GMM基线模型相比表现如何？
• RQ5 该模型在跨语言设置下，对不同语言与性别组合的泛化能力如何？

主要发现

• 在主观语音质量测试中，所提方法相比VAE-STFT的平均MOS得分高出+1.25 ± 0.12（p < 0.0001），表明提升极为显著。
• 与GMM基线相比，所提方法在所有语言与性别组合的转换对中，平均MOS得分提升+0.61 ± 0.14（p < 0.05）。
• World声码器在语音质量与说话人相似度方面均优于STFT，证明其在语音转换表征学习中的优越性。
• 仅使用一个目标说话人语音样本，模型仍能实现合理性能，且在语音质量方面显著优于基线模型。
• 说话人相似度测试显示，GMM与VAE系统之间无显著统计差异（VAE：-0.12 ± 0.16；GMM：-0.18 ± 0.15），尽管端到端（E2E）转换在说话人身份保留方面表现最佳。
• 同语言（Z2Z）转换的相似度得分高于跨语言对（E2Z、Z2E），表明听者感知中存在语言匹配偏差。