[论文解读] ConvS2S-VC: Fully convolutional sequence-to-sequence voice conversion

Hirokazu Kameoka, Kou Tanaka+3 more|arXiv (Cornell University)|Nov 5, 2018

Speech Recognition and Synthesis参考文献 61被引用 20

一句话总结

该论文提出 ConvS2S-VC，一种全卷积的序列到序列语音转换模型，通过基于注意力的编码器-解码器架构与条件批归一化，联合学习说话人身份、基频轮廓和时长的转换。该模型在客观与主观评估中均达到最先进性能，音质与说话人相似度优于先前方法，且无需文本或自动语音识别（ASR）监督，支持灵活的多对多转换与实时推理。

ABSTRACT

This paper proposes a voice conversion (VC) method using sequence-to-sequence (seq2seq or S2S) learning, which flexibly converts not only the voice characteristics but also the pitch contour and duration of input speech. The proposed method, called ConvS2S-VC, has three key features. First, it uses a model with a fully convolutional architecture. This is particularly advantageous in that it is suitable for parallel computations using GPUs. It is also beneficial since it enables effective normalization techniques such as batch normalization to be used for all the hidden layers in the networks. Second, it achieves many-to-many conversion by simultaneously learning mappings among multiple speakers using only a single model instead of separately learning mappings between each speaker pair using a different model. This enables the model to fully utilize available training data collected from multiple speakers by capturing common latent features that can be shared across different speakers. Owing to this structure, our model works reasonably well even without source speaker information, thus making it able to handle any-to-many conversion tasks. Third, we introduce a mechanism, called the conditional batch normalization that switches batch normalization layers in accordance with the target speaker. This particular mechanism has been found to be extremely effective for our many-to-many conversion model. We conducted speaker identity conversion experiments and found that ConvS2S-VC obtained higher sound quality and speaker similarity than baseline methods. We also found from audio examples that it could perform well in various tasks including emotional expression conversion, electrolaryngeal speech enhancement, and English accent conversion.

研究动机与目标

• 开发一种语音转换方法，可灵活转换谱特征外的基频轮廓、时长与节奏。
• 通过将语调特征建模为联合序列到序列转换的一部分，解决传统语音转换模型将语调特征视为固定或线性调整的局限性。
• 通过单一统一模型实现多对多语音转换，提升数据效率与跨说话人的泛化能力。
• 通过利用因果卷积与兼容自回归生成的注意力机制，支持实时推理。
• 通过在原始声学特征上端到端训练，消除对文本转录或自动语音识别（ASR）系统的依赖。

提出的方法

• 模型采用全卷积的编码器-解码器架构，解码器中使用因果卷积以支持自回归生成。
• 采用注意力机制，使解码器能够动态关注输入序列的相关部分，捕捉长距离依赖关系。
• 引入条件批归一化层，根据目标说话人嵌入自适应切换，实现有效的说话人解耦。
• 采用序列到序列学习框架，通过预测与目标声学特征之间的均方误差损失进行端到端训练。
• 共享模型处理所有说话人对，通过联合学习多说话人训练数据实现多对多转换。
• 通过强制因果性与使用对角注意力矩阵，支持任意对多的转换与实时推理。

实验结果

研究问题

• RQ1 全卷积的序列到序列模型能否有效学习语音转换中谱特征、基频与时长特征的联合转换？
• RQ2 条件批归一化在多对多语音转换中如何提升说话人解耦与性能？
• RQ3 单一统一模型在无需为每对说话人单独训练的情况下，其在多说话人间的泛化能力达到何种程度？
• RQ4 与基线方法相比，该方法在主观听音测试中音质与说话人相似度表现如何？
• RQ5 该模型能否泛化至非身份转换任务，如情感表达转换与口音转换？

主要发现

• 多对多 ConvS2S-VC 模型在音质方面取得 4.31 的 MOS 分数，在说话人相似度方面取得 4.42 的 MOS 分数，显著优于基线方法（包括 RNN-S2S-VC 与 sprocket）。
• 在使用 WORLD 合成时，模型接近自然度上限（MOS 4.54），表明其感知质量极高。
• 在客观指标上，模型在多对多任务中达到 MCD 6.37±0.04 与 LFC 0.812，显示在谱特征与语调保真度方面均表现强劲。
• 采用因果卷积与对角注意力的实时系统设置仅导致性能轻微下降（MCD: 6.54±0.15, LFC: 0.797），证明其在低延迟应用中的可行性。
• 音频示例显示，该模型在非身份转换任务中泛化良好，包括情感表达转换、电生理语音增强与英语口音转换。
• 消融研究证实，条件批归一化与多对多训练方案各自对性能提升有显著贡献。