[论文解读] Learning Singing From Speech

Liqiang Zhang, Chengzhu Yu+6 more|arXiv (Cornell University)|Dec 20, 2019

Speech Recognition and Synthesis参考文献 16被引用 10

一句话总结

本文提出了一种统一的语音与歌唱合成框架，仅通过正常语音样本学习可迁移的说话人嵌入，从而在无需任何目标说话人歌唱数据的情况下，实现高质量的歌唱语音转换。通过使用 DurIAN-4S 联合训练语音与歌唱数据，模型利用共享的说话人嵌入以及额外的音高（f0）和均方根能量（RMSE）特征，合成出音色与目标说话人高度匹配、自然感强的歌唱语音。

ABSTRACT

We propose an algorithm that is capable of synthesizing high quality target speaker's singing voice given only their normal speech samples. The proposed algorithm first integrate speech and singing synthesis into a unified framework, and learns universal speaker embeddings that are shareable between speech and singing synthesis tasks. Specifically, the speaker embeddings learned from normal speech via the speech synthesis objective are shared with those learned from singing samples via the singing synthesis objective in the unified training framework. This makes the learned speaker embedding a transferable representation for both speaking and singing. We evaluate the proposed algorithm on singing voice conversion task where the content of original singing is covered with the timbre of another speaker's voice learned purely from their normal speech samples. Our experiments indicate that the proposed algorithm generates high-quality singing voices that sound highly similar to target speaker's voice given only his or her normal speech samples. We believe that proposed algorithm will open up new opportunities for singing synthesis and conversion for broader users and applications.

研究动机与目标

• 仅使用目标说话人的正常语音样本实现高质量的歌唱语音合成，避免对昂贵的歌唱数据的依赖。
• 将语音与歌唱合成统一为单一框架，实现在两项任务间共享说话人嵌入。
• 探究在语音上训练的说话人嵌入是否能有效泛化至歌唱语音转换任务。
• 评估在输入中加入 f0 和 RMSE 对提升歌唱语音转换质量与音色相似性的影响。
• 证明仅使用语音数据进行说话人建模即可实现无监督歌唱语音转换的可行性。

提出的方法

• 在语音与歌唱数据上联合训练统一的自回归模型 DurIAN-4S，以共同学习说话人嵌入。
• 将音素序列、说话人嵌入以及帧级 f0 和 RMSE 作为条件输入，用于生成语音与歌唱的梅尔频谱图。
• 通过在语音与歌唱任务间共享说话人嵌入，实现从语音到歌唱的迁移学习。
• 通过条件化于目标说话人学习到的嵌入并输入源歌唱内容，将训练好的模型应用于歌唱语音转换。
• 使用在多说话人数据上微调过的 WaveRNN vocoder，以提升合成稳定性和音频质量。
• 采用 Adam 优化器，学习率采用前 250,000 步的预热调度策略，并在编码器与后处理网络模块中使用批量归一化。

实验结果

研究问题

• RQ1 在正常语音上训练的说话人嵌入是否能有效泛化至歌唱语音合成与转换？
• RQ2 将 f0 和 RMSE 作为额外输入，对转换后歌唱语音的质量与音色相似性有何影响？
• RQ3 当仅使用语音样本时，歌唱语音转换性能在多大程度上可接近使用真实歌唱数据训练的模型？
• RQ4 使用语音衍生的说话人嵌入对合成歌唱语音的自然度与相似性有何影响？
• RQ5 统一的语音与歌唱合成框架是否能在无需平行或成对歌唱数据的情况下实现高质量的歌唱语音转换？

主要发现

• 仅使用语音样本进行歌唱语音转换，音色相似性的平均意见得分（MOS）达到 3.49，自然度得分为 3.42，表明尽管未使用任何歌唱数据，性能依然出色。
• 将 RMSE 作为额外输入后，自然度与相似性均得到提升，MOS 分别从 2.77 提升至 3.42，从 2.84 提升至 3.49。
• 当使用真实歌唱样本作为目标数据时，模型在音色相似性上达到 MOS 3.65，自然度达到 3.80，表明基于语音的转换性能已接近基于歌唱数据训练的模型。
• 引入 RMSE 有助于模型更好地捕捉元音时长与音量，从而改善长元音的发音与清晰度。
• 所提方法仅依赖语音样本即可实现高质量的歌唱语音转换，显著降低了新语音合成的数据需求。
• 共享说话人嵌入框架成功将语音中的说话人特征迁移至歌唱，实现了无需目标说话人任何歌唱数据的有效语音转换。