[论文解读] CycleTransGAN-EVC: A CycleGAN-based Emotional Voice Conversion Model with Transformer

Changzeng Fu, Chaoran Liu+2 more|arXiv (Cornell University)|Nov 30, 2021

Speech Recognition and Synthesis参考文献 22被引用 8

一句话总结

该论文提出了一种基于CycleGAN的语音情感转换模型CycleTransGAN-EVC，通过引入Transformer结构增强时间建模能力和感受野，实现了无需平行训练数据的高质量、稳定情感语音转换。在主观评估中，该模型在情感强度和自然度方面表现优越，尤其在课程学习策略下，优于ACVAE和CycleGAN基线模型。

ABSTRACT

In this study, we explore the transformer's ability to capture intra-relations among frames by augmenting the receptive field of models. Concretely, we propose a CycleGAN-based model with the transformer and investigate its ability in the emotional voice conversion task. In the training procedure, we adopt curriculum learning to gradually increase the frame length so that the model can see from the short segment till the entire speech. The proposed method was evaluated on the Japanese emotional speech dataset and compared to several baselines (ACVAE, CycleGAN) with objective and subjective evaluations. The results show that our proposed model is able to convert emotion with higher strength and quality.

研究动机与目标

• 为解决基于CNN的模型在捕捉长程时间依赖关系以及在情感语音转换过程中保持语音稳定性方面的局限性。
• 探究Transformer在建模帧内关系以及扩大语音转换任务中感受野方面的有效性。
• 通过利用循环一致性对抗网络，减少对平行训练数据的依赖，实现非平行情感语音转换。
• 通过课程学习和细粒度判别器，提升转换后语音的情感强度、语音质量与自然度。

提出的方法

• 该模型采用CycleGAN框架，包含两个生成器和两个判别器，以学习源语音与目标情感语音之间的循环一致性映射。
• 将Transformer结构集成到生成器中，以建模长程时间依赖关系，并扩展CNN所能达到的感受野范围。
• 输入特征为基频（F0）和频谱图，其中F0通过连续小波变换（CWT）提取，频谱图通过CheapTrick方法提取。
• 采用课程学习策略，训练过程中逐步增加输入序列长度，从短段落逐步扩展到完整话语，以提升学习稳定性与情感特征捕捉能力。
• 引入细粒度判别器以评估局部情感一致性，尽管其略微降低了整体情感相似度。
• 整体损失函数结合对抗损失、循环一致性损失与身份损失，超参数在训练过程中进行调优。

实验结果

研究问题

• RQ1 与基于CNN的模型相比，Transformer是否能提升情感语音转换中帧内时间依赖关系的建模能力？
• RQ2 课程学习是否通过从短语音段开始并逐步增加序列长度，增强模型学习情感特征的能力？
• RQ3 在非平行语音转换中，细粒度判别器的引入如何影响情感保真度与语音自然度？
• RQ4 所提出的CycleTransGAN-EVC模型在情感强度、语音质量与自然度方面，相较于现有基线模型（ACVAE、CycleGAN）的优越程度如何？

主要发现

• CycleTransGAN-All模型在语音质量与自然度方面获得了最高的平均意见得分（MOS），优于所有基线模型与消融实验变体。
• 在情感相似度方面，CycleTransGAN-CL（无细粒度判别器）在愤怒与悲伤情绪上取得了最高的MOS，表明细粒度判别器可能干扰了显著情感特征的捕捉。
• CycleTransGAN-All在快乐情绪上取得了最高MOS，表明其在高能量情感转换中表现强劲。
• 课程学习的使用显著提升了模型学习情感特征的能力，尤其在情感线索更集中的短段落中表现更优。
• 尽管性能有所提升，生成语音的清晰度与情感强度仍需进一步优化，表明未来仍有改进空间。