[论文解读] Emotional Voice Conversion: Theory, Databases and ESD

Kun Zhou, Berrak Şişman+2 more|arXiv (Cornell University)|May 31, 2021

Speech Recognition and Synthesis参考文献 131被引用 8

一句话总结

本文介绍了情感语音数据库（ESD），这是一个公开可用的多说话人、跨语言数据集，包含10位英语和10位中文说话人共350组并行语音片段，涵盖五种情绪（中性、快乐、愤怒、悲伤、惊讶），总计超过29小时的高质量语音。作者通过实施最先进的语音情感转换系统验证了该数据库，证明其在推动情感感知语音合成与语音转换研究方面的实用性。

ABSTRACT

In this paper, we first provide a review of the state-of-the-art emotional voice conversion research, and the existing emotional speech databases. We then motivate the development of a novel emotional speech database (ESD) that addresses the increasing research need. With this paper, the ESD database is now made available to the research community. The ESD database consists of 350 parallel utterances spoken by 10 native English and 10 native Chinese speakers and covers 5 emotion categories (neutral, happy, angry, sad and surprise). More than 29 hours of speech data were recorded in a controlled acoustic environment. The database is suitable for multi-speaker and cross-lingual emotional voice conversion studies. As case studies, we implement several state-of-the-art emotional voice conversion systems on the ESD database. This paper provides a reference study on ESD in conjunction with its release.

研究动机与目标

• 为解决当前缺乏适合多说话人和跨语言情感语音转换研究的公开可用高质量情感语音数据库的问题。
• 对现有情感语音转换技术与数据库进行全面综述。
• 将ESD数据库作为基准资源向研究社区发布。
• 通过使用最先进的情感语音转换模型进行案例研究，展示ESD的实用性。
• 支持在人机交互中开发具备情感智能的语音合成系统。

提出的方法

• ESD数据库在受控声学环境中采集，包含10位母语为英语和10位母语为中文的说话人。
• 每位说话人每种情绪录制35段语音，共生成350组并行语音，涵盖五类情绪。
• 数据库包含高保真度的语音录音，保留了语言内容并维持了说话人身份。
• 作者在ESD数据集上实施了多种最先进的情感语音转换模型，包括基于生成对抗网络（GAN）、序列到序列以及自编码器的框架。
• 评估框架涵盖说话人依赖和跨语言两种设置，以评估模型的泛化能力和鲁棒性。
• 本研究利用ESD数据集训练并验证了用于情感语音转换与情感文本到语音应用的模型。

实验结果

研究问题

• RQ1 大规模、多说话人、跨语言的情感语音数据库在多大程度上能提升情感语音转换系统的性能与泛化能力？
• RQ2 在语音转换中，建模超音段情感语调与谱动态的关键挑战是什么？
• RQ3 ESD数据库在支持最先进的情感语音转换与文本到语音框架方面有多有效？
• RQ4 在ESD上训练的端到端模型能否在不同语言和说话人身份之间实现良好泛化？
• RQ5 解耦表示学习在提升情感语音转换质量方面起到什么作用？

主要发现

• ESD数据库是目前公开可用的最大规模情感语音数据库之一，包含超过29小时的高质量并行录音，覆盖20位说话人。
• 该数据库支持说话人依赖和跨语言的情感语音转换，可支持多样化的研究应用。
• 案例研究显示，最先进的模型（包括基于GAN和序列到序列的框架）在ESD上实现了高质量的情感语音转换。
• ESD数据库成功支持了情感文本到语音系统的训练，报告的框架在情感表现力方面表现出色。
• ESD的发布提供了一个标准化基准，促进了不同情感语音转换方法之间的可复现研究与对比。
• 该数据库已在后续研究中被使用，证实了其在情感语音研究中的实用性和可靠性。