[论文解读] Conversational End-to-End TTS for Voice Agent

Haohan Guo, Shaofei Zhang+3 more|arXiv (Cornell University)|May 21, 2020

Speech Recognition and Synthesis参考文献 23被引用 5

一句话总结

本文提出了一种面向语音助手的对话上下文感知端到端TTS系统，采用新颖的自发对话语音语料库和双编码器架构。通过集成用于语义/句法特征的辅助编码器以及用于聊天历史的对话上下文编码器，该模型显著提升了语调自然度，并表现出填充词和重复等自发性行为，相较于基线模型在对话层面取得0.62 CMOS和59.0%偏好度的提升。

ABSTRACT

End-to-end neural TTS has achieved superior performance on reading style speech synthesis. However, it's still a challenge to build a high-quality conversational TTS due to the limitations of the corpus and modeling capability. This study aims at building a conversational TTS for a voice agent under sequence to sequence modeling framework. We firstly construct a spontaneous conversational speech corpus well designed for the voice agent with a new recording scheme ensuring both recording quality and conversational speaking style. Secondly, we propose a conversation context-aware end-to-end TTS approach which has an auxiliary encoder and a conversational context encoder to reinforce the information about the current utterance and its context in a conversation as well. Experimental results show that the proposed methods produce more natural prosody in accordance with the conversational context, with significant preference gains at both utterance-level and conversation-level. Moreover, we find that the model has the ability to express some spontaneous behaviors, like fillers and repeated words, which makes the conversational speaking style more realistic.

研究动机与目标

• 解决为语音助手生成高质量、自然语音对话语音的挑战。
• 开发一种新型录音方案，在保证高音频质量的同时还原真实的对话说话风格。
• 设计一种端到端TTS模型，能够在无需对话行为标注或复杂标签的情况下建模上下文相关的语调。
• 使TTS系统能够自然地表达自发性言语行为，如填充词和重复。

提出的方法

• 采用三步表演录音方案：场景与对话设计、基于表演的录音、转录，以构建高质量、自发对话的语音语料库。
• 引入辅助编码器，从BERT嵌入和统计句法特征中提取深层语义与句法特征，以提升语调建模能力。
• 设计对话上下文编码器，利用前序话语的BERT嵌入编码话语历史，实现上下文感知的语调生成。
• 模型采用基于Transformer的解码器的序列到序列框架，使用Adam优化器并在单张GPU上训练，学习率衰减。
• 端到端TTS系统在联合优化文本到语音生成的同时，通过训练数据隐式学习自发性行为的表达。

实验结果

研究问题

• RQ1 新的录音方案能否生成高质量的对话TTS语料库，同时保持音频保真度与自然说话风格？
• RQ2 具备辅助编码器与上下文编码器的端到端TTS模型能否生成与对话上下文更契合的更自然语调？
• RQ3 模型能否在无显式标注的情况下学习表达如填充词和重复等自发性言语行为？
• RQ4 辅助编码器与上下文编码器在单独与联合使用时，如何在话语与对话层面共同提升语调表现？

主要发现

• 与基线模型相比，所提模型在对话层面实现了0.62 CMOS的提升和59.0%的偏好度增益，证明其在上下文感知语调方面具有更优的自然度。
• 仅使用辅助编码器时，在话语层面CMOS提升0.22，偏好度提升42.9%，表明通过更优的语义与句法建模显著增强了语调表现。
• 对话上下文编码器进一步提升了性能，在话语层面带来额外0.18 CMOS与42.1%偏好度增益。
• 模型成功学习到生成如填充词和重复词等自发性行为，显著提升了对话语音的真实性，且无需显式监督。
• 两种编码器联合使用在对话层面带来0.39 CMOS增益与57.0%偏好度提升，表明其在上下文建模中具有协同增益效应。