[论文解读] CycleGAN-VC2: Improved CycleGAN-based Non-parallel Voice Conversion

Takuhiro Kaneko, Hirokazu Kameoka+2 more|ArXiv.org|Apr 9, 2019

Speech Recognition and Synthesis参考文献 53被引用 6

一句话总结

本文提出 CycleGAN-VC2，一种改进的非平行语音转换方法，通过两阶段对抗损失、2-1-2D 卷积神经网络生成器和 PatchGAN 判别器，在 CycleGAN-VC 的基础上实现性能提升。该模型在客观指标（MCD 和 MSD）与主观评估中均达到最先进水平，显著提升了跨性别与同性别说话人间语音的自然度与说话人相似度。

ABSTRACT

Non-parallel voice conversion (VC) is a technique for learning the mapping from source to target speech without relying on parallel data. This is an important task, but it has been challenging due to the disadvantages of the training conditions. Recently, CycleGAN-VC has provided a breakthrough and performed comparably to a parallel VC method without relying on any extra data, modules, or time alignment procedures. However, there is still a large gap between the real target and converted speech, and bridging this gap remains a challenge. To reduce this gap, we propose CycleGAN-VC2, which is an improved version of CycleGAN-VC incorporating three new techniques: an improved objective (two-step adversarial losses), improved generator (2-1-2D CNN), and improved discriminator (PatchGAN). We evaluated our method on a non-parallel VC task and analyzed the effect of each technique in detail. An objective evaluation showed that these techniques help bring the converted feature sequence closer to the target in terms of both global and local structures, which we assess by using Mel-cepstral distortion and modulation spectra distance, respectively. A subjective evaluation showed that CycleGAN-VC2 outperforms CycleGAN-VC in terms of naturalness and similarity for every speaker pair, including intra-gender and inter-gender pairs.

研究动机与目标

• 为解决尽管 CycleGAN-VC 取得成功，非平行语音转换（VC）中真实目标语音与转换后语音之间仍存在的持久差距。
• 消除对平行数据、时间对齐或额外模块的依赖，保持完全端到端、数据高效的框架。
• 提升转换语音的全局（频谱）与局部（时序调制）结构质量，以实现更高保真度与相似度。
• 开发一种鲁棒且可泛化的模型，可在多样化的说话人对（包括同性别与跨性别转换）中保持优异表现。
• 通过引入架构与训练目标的改进，推动非平行 VC 的发展，提升音质与自然度，且无需额外监督。

提出的方法

• 提出两阶段对抗损失，将对抗训练解耦为两个阶段：首先训练判别器以区分真实与伪造特征；其次优化生成器以欺骗判别器。
• 采用 2-1-2D CNN 生成器架构，结合 2D 卷积用于频谱建模与 1D 卷积用于时序建模，从而更好地捕捉语音的频谱与序列结构。
• 采用 PatchGAN 判别器，通过评估局部图像块而非完整特征图，提升模型对细微频谱与时序细节的保留能力。
• 引入循环一致性损失与身份映射损失，以保持语言内容并稳定训练，确保转换语音在语义上忠实。
• 采用多尺度训练目标，结合梅尔倒谱失真（MCD）与调制谱距离（MSD），联合优化全局与局部特征保真度。
• 采用无需声码器的框架，使用可微分的 MCEP，使方法对转换错误敏感，从而成为鲁棒性的强测试。

实验结果

研究问题

• RQ1 两阶段对抗训练策略是否能通过提升生成器模仿目标语音分布的能力，从而改善非平行语音转换的质量？
• RQ2 2-1-2D CNN 生成器架构是否相比标准 1D 或 2D 卷积，能更好地建模语音特征的分层结构？
• RQ3 PatchGAN 判别器是否能通过聚焦高分辨率的谱-时序模式，提升语音转换中的局部特征保真度？
• RQ4 所提出的架构与训练改进在多大程度上缩小了转换语音与目标语音在全局（MCD）与局部（MSD）结构上的差距？
• RQ5 改进后的模型是否在客观与主观评估中均保持优异性能，尤其在具有挑战性的跨性别转换中？

主要发现

• CycleGAN-VC2 在所有说话人对上的平均 MCD 为 1.49 ± 0.01，显著优于 CycleGAN-VC 的 2.42 ± 0.08，表明其具有更优的全局频谱相似性。
• 模型将 MSD 降低至 1.52 ± 0.01，显著优于 CycleGAN-VC 的 2.65 ± 0.15，证明其在保留局部时序调制结构方面表现更优。
• 在主观 MOS 测试中，CycleGAN-VC2 的平均自然度得分为 4.48，显著高于 CycleGAN-VC 的 4.12，证实语音质量得到提升。
• 在说话人相似度方面，CycleGAN-VC2 在 XAB 测试中获得 78.5% 的偏好得分，优于 CycleGAN-VC 的 65.3%，表明其说话人身份保留能力更强。
• 消融实验证实，两阶段损失、2-1-2D 生成器与 PatchGAN 判别器三者均独立且协同贡献于性能提升。
• 模型在无声码器设置下表现出鲁棒性，即使使用对转换错误敏感的可微分 MCEP，仍能保持高 MOS 得分（4.32–4.48）。