[论文解读] DeepSinger: Singing Voice Synthesis with Data Mined From the Web

Yi Ren, Xu Tan+4 more|arXiv (Cornell University)|Jul 9, 2020

Speech Recognition and Synthesis参考文献 38被引用 4

一句话总结

DeepSinger 是一个支持多语言、多歌手的歌声合成系统，完全基于网络挖掘的歌声数据进行训练，无需昂贵的人工录音和手动对齐。它采用一种新颖的歌词到歌声对齐模型，结合使用参考编码器的前馈 Transformer 模型，可直接从歌词生成高质量、自然的歌声，即使在训练数据存在噪声的情况下，仍能实现出色的音高准确度和音质。

ABSTRACT

In this paper, we develop DeepSinger, a multi-lingual multi-singer singing voice synthesis (SVS) system, which is built from scratch using singing training data mined from music websites. The pipeline of DeepSinger consists of several steps, including data crawling, singing and accompaniment separation, lyrics-to-singing alignment, data filtration, and singing modeling. Specifically, we design a lyrics-to-singing alignment model to automatically extract the duration of each phoneme in lyrics starting from coarse-grained sentence level to fine-grained phoneme level, and further design a multi-lingual multi-singer singing model based on a feed-forward Transformer to directly generate linear-spectrograms from lyrics, and synthesize voices using Griffin-Lim. DeepSinger has several advantages over previous SVS systems: 1) to the best of our knowledge, it is the first SVS system that directly mines training data from music websites, 2) the lyrics-to-singing alignment model further avoids any human efforts for alignment labeling and greatly reduces labeling cost, 3) the singing model based on a feed-forward Transformer is simple and efficient, by removing the complicated acoustic feature modeling in parametric synthesis and leveraging a reference encoder to capture the timbre of a singer from noisy singing data, and 4) it can synthesize singing voices in multiple languages and multiple singers. We evaluate DeepSinger on our mined singing dataset that consists of about 92 hours data from 89 singers on three languages (Chinese, Cantonese and English). The results demonstrate that with the singing data purely mined from the Web, DeepSinger can synthesize high-quality singing voices in terms of both pitch accuracy and voice naturalness (footnote: Our audio samples are shown in https://speechresearch.github.io/deepsinger/.)

研究动机与目标

• 开发一种无需昂贵人工录音和手动数据标注的歌声合成系统。
• 直接从音乐网站挖掘并利用大规模歌声数据进行训练。
• 设计一种自动化对齐系统，实现从歌词到歌声的音素级别映射，无需人工标注。
• 构建一个能够从嘈杂、真实世界歌声数据中学习的鲁棒歌声模型。
• 使用单一统一模型实现多语言和多歌手的歌声合成。

提出的方法

• 使用网络爬虫从多种语言的音乐网站收集热门歌曲。
• 应用 Spleeter 将爬取音频中的歌声与伴奏分离。
• 训练一种分层对齐模型，从句子级别的歌词和音频中预测音素级别的时长。
• 使用基于前馈 Transformer 的歌声模型，直接从歌词生成线性倒谱图，通过参考编码器建模歌手的音色特征。
• 使用 Griffin-Lim 从生成的倒谱图重建波形。
• 模型在约 92 小时的歌声数据上进行训练，涵盖 89 位来自中文、粤语和英语的歌手。

实验结果

研究问题

• RQ1 能否完全基于网络挖掘的数据训练出高质量的歌声合成系统，而无需录音棚录音或人工标注？
• RQ2 自动化、多层级的对齐模型在替代人工标注对齐方面效果如何？
• RQ3 基于参考编码器的模型能否有效从嘈杂、真实世界的歌声数据中学习到歌手特有的音色特征？
• RQ4 多语言预训练是否会降低或提升在单个语言上的性能？
• RQ5 与仅使用 TTS 数据进行辅助训练相比，使用网络挖掘的歌声数据有何优势？

主要发现

• DeepSinger 生成的歌声质量极高，平均意见得分（MOS）达到 3.78，接近参考值 4.38，表明其具有极强的自然感。
• 带有参考编码器的模型在性能上优于无参考编码器的版本，尤其在噪声训练数据上表现更佳，其在噪声参考数据上的 MOS 为 3.27，而正常数据上的 MOS 为 3.42。
• 与基线模型相比，DeepSinger 的偏好得分为 65.00%，显著高于仅在 TTS 数据上训练的模型的 19.50%，证明了使用歌声特异性数据的重要性。
• 多语言训练不会降低任何单一语言的性能，且模型成功实现了跨语言歌声合成。
• 在干净参考数据上测试时，使用干净数据训练的模型性能几乎与使用噪声数据训练的模型相当，表明其对数据噪声具有强鲁棒性。
• 参考编码器使模型能够泛化到不同噪声水平和歌手风格，即使训练数据不完美也能有效工作。