[论文解读] Deep Learning for Singing Processing: Achievements, Challenges and Impact on Singers and Listeners

Emília Gómez, Merlijn Blaauw+3 more|arXiv (Cornell University)|Jul 9, 2018

Music and Audio Processing参考文献 20被引用 35

一句话总结

本文综述了深度学习在歌唱处理领域的最新进展，重点关注音高估计、语音分离和歌唱合成。其在准确性和音质方面表现出最先进的性能，尤其在CREPE和基于DNN的分离模型方面表现突出，同时指出了数据、计算资源和模型可解释性方面的挑战，并探讨了对歌手、听众及音乐制作的社会影响。

ABSTRACT

This paper summarizes some recent advances on a set of tasks related to the processing of singing using state-of-the-art deep learning techniques. We discuss their achievements in terms of accuracy and sound quality, and the current challenges, such as availability of data and computing resources. We also discuss the impact that these advances do and will have on listeners and singers when they are integrated in commercial applications.

研究动机与目标

• 综述并整合近期在深度学习用于歌唱处理任务（如音高估计、声源分离和歌唱合成）方面的成就。
• 识别影响歌唱处理进展的数据可用性、计算资源和模型可解释性等方面的关键挑战。
• 分析高保真歌唱合成与声源分离对音乐人、听众及商业音乐应用的影响。
• 探讨语音建模与虚拟歌手对知识产权、身份认同以及人类歌唱在音乐中未来的影响。
• 探索波形生成模型（例如WaveNet）在实现富有表现力、自然音质的歌唱合成方面的潜力。

提出的方法

• 采用最先进的深度学习模型，如CREPE，用于单音和主要音高估计，训练数据集为iKala。
• 使用深度神经网络（DNNs），包括RNN和CNN，进行歌唱语音分离，性能优于传统方法如NMF和ICA。
• 应用前馈和自回归卷积网络进行歌唱合成，从乐谱和歌词中建模音高、时长和音色。
• 使用标准指标评估性能：原始音高准确率（RPA）、SDR、SIR、SAR和ISR用于分离任务，以及听音测试用于合成音质评估。
• 将深度学习模型与经典方法（如YIN、MELODIA、连接合成）进行对比，以评估在准确性和音质方面的改进。
• 分析大规模数据集（如iKala、MTG-QBH、JAMENDO）在实现数据驱动训练和模型泛化能力方面的作用。

实验结果

研究问题

• RQ1 与传统音高估计方法（如YIN和MELODIA）相比，CREPE和pYIN等深度学习模型在准确性上表现如何？
• RQ2 与NMF和ICA相比，基于DNN的分离模型在歌唱语音隔离中的声源分离质量和处理效率方面提升了多少？
• RQ3 基于深度学习的歌唱合成能否实现与连接合成方法相当或更优的音质？
• RQ4 高保真语音建模对语音模仿、虚拟歌手以及音乐制作中的知识产权有何影响？
• RQ5 深度学习模型的黑箱特性在多大程度上阻碍了对歌唱的声学与表现力知识的获取？

主要发现

• CREPE在单音歌唱中达到90.5%的原始音高准确率，在主要音高估计中达到81.5%，与pYIN和MELODIA等传统方法相当或更优。
• 基于DNN的分离模型显著优于传统方法，Sisec和MIREX评估中SDR和SIR指标显示出显著的性能提升。
• 基于深度学习的歌唱合成方法在音质上达到或优于连接合成方法，听音测试结果予以证实。
• 波形生成模型如WaveNet和Tacotron2在生成富有表现力的歌唱方面展现出强大潜力，可模拟如低吼声和沙哑发音等语音特征。
• 当前歌唱合成的最先进水平已接近与人类歌唱无法区分，引发了对真实性和模仿的担忧。
• 尽管性能优异，深度学习模型仍为高度黑箱系统，限制了其在歌唱声学与表现力知识积累方面的贡献。