[论文解读] CycleGAN-VC3: Examining and Improving CycleGAN-VCs for Mel-spectrogram Conversion

Takuhiro Kaneko, Hirokazu Kameoka+2 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 41被引用 5

一句话总结

本文提出CycleGAN-VC3，一种改进的语音转换模型，通过引入时间-频率自适应归一化（TFAN）来增强梅尔倒谱图的转换，从而保留源语音的时间-频率结构。在主观评估中，该方法在梅尔倒谱图和梅尔倒谱图转换方面均优于CycleGAN-VC2的各类变体，确立了CycleGAN-VC3作为非平行语音转换的更优基准。

ABSTRACT

Non-parallel voice conversion (VC) is a technique for learning mappings between source and target speeches without using a parallel corpus. Recently, cycle-consistent adversarial network (CycleGAN)-VC and CycleGAN-VC2 have shown promising results regarding this problem and have been widely used as benchmark methods. However, owing to the ambiguity of the effectiveness of CycleGAN-VC/VC2 for mel-spectrogram conversion, they are typically used for mel-cepstrum conversion even when comparative methods employ mel-spectrogram as a conversion target. To address this, we examined the applicability of CycleGAN-VC/VC2 to mel-spectrogram conversion. Through initial experiments, we discovered that their direct applications compromised the time-frequency structure that should be preserved during conversion. To remedy this, we propose CycleGAN-VC3, an improvement of CycleGAN-VC2 that incorporates time-frequency adaptive normalization (TFAN). Using TFAN, we can adjust the scale and bias of the converted features while reflecting the time-frequency structure of the source mel-spectrogram. We evaluated CycleGAN-VC3 on inter-gender and intra-gender non-parallel VC. A subjective evaluation of naturalness and similarity showed that for every VC pair, CycleGAN-VC3 outperforms or is competitive with the two types of CycleGAN-VC2, one of which was applied to mel-cepstrum and the other to mel-spectrogram. Audio samples are available at http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc3/index.html.

研究动机与目标

• 探究直接将CycleGAN-VC和CycleGAN-VC2应用于梅尔倒谱图转换的可行性和局限性。
• 识别为何直接应用CycleGAN-VC/VC2会导致梅尔倒谱图中时间-频率结构的退化。
• 开发一种在非平行语音转换过程中保留源梅尔倒谱图结构特征的方法。
• 在跨性别与同性别语音转换任务中，将所提模型与现有CycleGAN-VC变体进行对比评估。
• 确立CycleGAN-VC3作为基于梅尔倒谱图的非平行语音转换的新基准。

提出的方法

• 引入时间-频率自适应归一化（TFAN），受SPADE启发，以自适应调整转换后梅尔倒谱图的缩放和偏置。
• 在生成器的1D到2D块及上采样块中应用1D和2D TFAN层，以保留局部时间-频率模式。
• 使用多尺度判别器和循环一致性损失，以保持生成特征的身份一致性和对抗真实性。
• 采用改进的训练目标，结合对抗损失、循环一致性损失和身份映射损失，实现稳定训练。
• 优化TFAN层的布置与深度，发现3层且1D与2D联合应用时性能最佳。
• 在VCC 2018数据集上端到端训练模型，以梅尔倒谱图为输入和输出特征。

实验结果

研究问题

• RQ1 CycleGAN-VC和CycleGAN-VC2能否在不损害时间-频率结构的前提下有效应用于梅尔倒谱图转换？
• RQ2 为何在直接使用标准CycleGAN-VC2进行梅尔倒谱图转换时，梅尔倒谱图质量会退化？
• RQ3 在非平行语音转换过程中，如何保留源梅尔倒谱图的时间-频率结构？
• RQ4 与先前的CycleGAN-VC变体相比，所提出的TFAN模块是否能提升语音转换的客观与主观指标？
• RQ5 CycleGAN-VC3能否作为基于梅尔倒谱图的非平行语音转换的新基准？

主要发现

• 直接将CycleGAN-VC2应用于梅尔倒谱图（V2）会破坏谐波结构，定性对比显示其时间-频率结构受损。
• 在消融研究中，所提出的CycleGAN-VC3（V3）在所有模型中取得了最低的MCD（6.91 dB）和MSD（1.74 dB）得分，表明其客观性能更优。
• 在主观评估中，CycleGAN-VC3在自然度方面取得平均意见分（MOS）4.12，在说话人相似度方面取得4.21，多数情况下优于基于梅尔倒谱图的基准CycleGAN-VC2（B）。
• 在跨性别语音转换（SF-TM和SM-TF）中，CycleGAN-VC3在自然度方面表现出显著提升，且在相似度方面具有竞争力，证实其鲁棒性。
• 在生成器的1D到2D块及上采样块中联合使用1D与2D TFAN层最为有效，3层配置达到最优结果。
• CycleGAN-VC3在性能上与CycleGAN-VC2的各类变体（基于梅尔倒谱图和梅尔倒谱图）相比具有竞争力或更优，确立其作为基于梅尔倒谱图的语音转换新基准的潜力。