[论文解读] An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning

Berrak Şişman, Junichi Yamagishi+2 more|arXiv (Cornell University)|Aug 9, 2020

Speech Recognition and Synthesis参考文献 284被引用 26

一句话总结

本文全面综述了从统计建模到深度学习的语音转换（VC）技术，涵盖语音分析、谱图与语调映射以及声码器技术。通过Voice Conversion Challenges（VCC）等基准测试评估性能，突出关键数据集（VCTK、LibriTTS、VoxCeleb），并讨论开源工具，为神经语音转换与语音合成领域的研究人员提供了基础性资源。

ABSTRACT

Speaker identity is one of the important characteristics of human speech. In voice conversion, we change the speaker identity from one to another, while keeping the linguistic content unchanged. Voice conversion involves multiple speech processing techniques, such as speech analysis, spectral conversion, prosody conversion, speaker characterization, and vocoding. With the recent advances in theory and practice, we are now able to produce human-like voice quality with high speaker similarity. In this paper, we provide a comprehensive overview of the state-of-the-art of voice conversion techniques and their performance evaluation methods from the statistical approaches to deep learning, and discuss their promise and limitations. We will also report the recent Voice Conversion Challenges (VCC), the performance of the current state of technology, and provide a summary of the available resources for voice conversion research.

研究动机与目标

• 提供从统计建模到深度学习的语音转换技术的全面综述。
• 分析语音转换研究中的性能评估方法与挑战。
• 记录自2013年以来语音转换挑战（VCC）的演变与影响。
• 总结公开可用的数据集与语音转换研究工具，包括VCTK、LibriTTS与VoxCeleb。
• 通过整合关键资源与最先进的实践方法，支持研究人员与工程师。

提出的方法

• 根据训练数据（平行 vs. 非平行）、建模方法（参数化 vs. 非参数化）以及优化范围（帧级 vs. 话语级）对语音转换技术进行分类。
• 回顾统计方法，包括高斯混合模型（GMM）、偏最小二乘法（PLS）以及动态核PLS（DKPLS），用于谱图映射。
• 研究非参数化技术，如非负矩阵分解（NMF）与基于实例的稀疏表示，以减少过度平滑并提升语音质量。
• 讨论使用音素后验概率图（PPG）、INCA对齐与说话人模型对齐的非平行VC方法，实现在无平行语句情况下的转换。
• 分析基于深度学习的VC方法，包括自编码器、变分自编码器（VAE）与对抗网络，用于端到端映射与解耦说话人表征。
• 回顾利用大规模、低质量数据集（LibriTTS、VoxCeleb）训练说话人编码器并提升零样本或少样本VC泛化能力的应用。

实验结果

研究问题

• RQ1 从统计建模到深度学习，语音转换技术在性能与泛化能力方面如何演变？
• RQ2 非平行语音转换中的关键挑战是什么？对齐与PPG方法如何应对这些挑战？
• RQ3 语音转换最有效的评估指标与基准是什么？它们如何反映主观质量与说话人相似性？
• RQ4 像VCTK、LibriTTS与VoxCeleb这样的大规模开源数据集如何支持语音转换中数据密集型深度学习模型的发展？
• RQ5 语音转换挑战（VCC）在推动领域发展与实现可复现评估方面发挥什么作用？

主要发现

• 语音转换挑战（VCC）在标准化评估与推动创新方面发挥了关键作用，2016年与2018年最佳系统被用于生成高级伪造音频。
• 非平行VC技术如基于PPG与INCA对齐的方法，实现了无需成对训练数据的有效转换，扩展了应用范围。
• 稀疏表示与基于NMF的方法可减少过度平滑，提升语音质量，尤其在小规模平行数据集上表现更优。
• 大规模数据集如LibriTTS（585小时，2,456名说话人）与VoxCeleb（2,800+小时，6,000+名说话人）对训练鲁棒说话人编码器及实现零样本或少样本转换至关重要。
• 基于VCC生成的伪造音频训练的反伪造系统在检测合成语音方面已超越人类听觉判断，凸显了在实际应用中实现稳健检测的必要性。
• 开源工具如ESPnet与spocket支持从GMM-based到端到端神经网络的各类VC模型，促进了可复现性与社区发展。