[论文解读] Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech

Wenjie Li, Benlai Tang+7 more|arXiv (Cornell University)|May 19, 2020

Speech Recognition and Synthesis被引用 7

一句话总结

本文提出了一种端到端的口音转换系统，利用预训练的文本到语音（TTS）模型生成原生参考语音，并通过参考编码器增强语调和语调特征，显著提升了音质和原生口音相似度，且在推理阶段无需并行数据或原生语音。该方法使平均意见得分（MOS）相对提升了30%，原生口音偏好度相对提升了68%。

ABSTRACT

Accent conversion (AC) transforms a non-native speaker's accent into a native accent while maintaining the speaker's voice timbre. In this paper, we propose approaches to improving accent conversion applicability, as well as quality. First of all, we assume no reference speech is available at the conversion stage, and hence we employ an end-to-end text-to-speech system that is trained on native speech to generate native reference speech. To improve the quality and accent of the converted speech, we introduce reference encoders which make us capable of utilizing multi-source information. This is motivated by acoustic features extracted from native reference and linguistic information, which are complementary to conventional phonetic posteriorgrams (PPGs), so they can be concatenated as features to improve a baseline system based only on PPGs. Moreover, we optimize model architecture using GMM-based attention instead of windowed attention to elevate synthesized performance. Experimental results indicate when the proposed techniques are applied the integrated system significantly raises the scores of acoustic quality (30$\\%$ relative increase in mean opinion score) and native accent (68$\\%$ relative preference) while retaining the voice identity of the non-native speaker.

研究动机与目标

• 在推理阶段无需并行数据或原生参考语音，实现口音转换。
• 通过整合语调和语言特征，提升非母语语音的音质和原生口音相似度。
• 通过引入参考编码器提供的补充信息，解决仅使用PPG系统的局限性。
• 通过架构改进（如GMM注意力机制和CBHG编码器）提升模型稳定性和表现力。
• 通过生成高保真、具有原生口音的语音，支持计算机辅助发音训练（CAPT）

提出的方法

• 使用在1小时原生语音上训练的端到端TTS系统，为非母语语音生成参考音频，从而在推理阶段无需收集原生语音。
• 采用参考编码器——一种深度神经网络——从生成的原生参考语音中提取语调和表现力特征，并与语音后验概率图（PPGs）拼接。
• 通过将PPGs（语音内容）与参考编码器输出（语调和语调）相结合，提出多源特征融合策略，以丰富输入表征。
• 用基于高斯混合模型（GMM）的注意力机制替代标准的滑动窗口注意力机制，以提升对序列长距离依赖关系的建模能力与对齐稳定性。
• 用CBHG编码器替代Tacotron2中的原始编码器，以增强特征表征能力和模型表现力。
• 使用WaveRNN声码器实时生成高质量波形，基于预测的梅尔频谱图。

实验结果

研究问题

• RQ1 基于TTS的参考语音生成系统能否有效替代口音转换中对并行或原生参考语音的需求？
• RQ2 将PPGs与参考编码器输出结合，如何提升口音转换质量与语调表现？
• RQ3 如GMM注意力机制与CBHG编码器等架构改进，能在多大程度上提升模型稳定性与音质？
• RQ4 所提系统能否在显著降低非母语口音的同时保持说话人身份？
• RQ5 不同系统变体在客观与主观指标（如MOS、偏好度与语音相似度）上的表现如何比较？

主要发现

• 所提系统在平均意见得分（MOS）上实现了30%的相对提升，表明音质相比基线有显著改善。
• 系统在原生口音偏好度上实现了68%的相对提升，表明其在生成自然流畅的原生口音语音方面表现更优。
• 系统3（在参考编码器中同时使用PPGs与音素序列）取得了最高的MOS得分，优于仅依赖PPGs或梅尔频谱图的系统。
• 语音相似度在各系统中均得以保持，听众对系统1、2、3的自信度与偏好度评分相近，表明说话人身份保持稳健。
• 口音相似度测试显示，使用参考编码器的系统（系统2与3）显著优于基线，系统3得分为3.58/5，而原始ZHAA录音仅为1.81。
• 参考编码器与架构优化（GMM注意力机制、CBHG）的结合被证明具有互补性，共同促成了性能的提升。