[论文解读] Automatic Lyrics Transcription in Polyphonic Music: Does Background Music Help?

Chitralekha Gupta, Emre Yılmaz+1 more|arXiv (Cornell University)|Sep 23, 2019

Music and Audio Processing被引用 6

一句话总结

本文提出了一种针对音乐流派的声学建模方法，用于在多音音乐中实现自动歌词转录，通过利用流派感知特征而非噪声抑制。通过在特定流派特征上训练模型，该方法在多个基准数据集上实现了最先进性能，显著提升了现有方法在转录和对齐准确性方面的表现。

ABSTRACT

Background music affects lyrics intelligibility of singing vocals in a music piece. Automatic lyrics transcription in polyphonic music is a challenging task because the singing vocals are corrupted by the background music. In this work, we propose to learn music genre-specific characteristics to train polyphonic acoustic models. For this purpose, we firstly study and compare several automatic speech recognition pipelines for the application of lyrics transcription. Later, we present the lyrics transcription performance of these music-informed acoustic models for the best-performing pipeline, and systematically study the impact of music genre and language model on the performance. With this genre-based approach, we explicitly model the characteristics of music, instead of trying to remove the background music as noise. The proposed approach achieves a significant improvement in performance in the lyrics transcription and alignment tasks on several well-known polyphonic test datasets, outperforming all comparable existing systems.

研究动机与目标

• 解决由于背景音乐干扰导致的多音音乐中歌词可懂度低的问题。
• 探究建模音乐流派特定特征是否能提升歌词转录性能。
• 比较各种自动语音识别（ASR）流水线在复杂音频中进行歌词转录的表现。
• 评估音乐流派和语言模型对转录准确率的影响。
• 开发一种显式建模音乐背景而非将其视为噪声的系统。

提出的方法

• 将自动语音识别（ASR）流水线适配至多音音乐环境中的歌词转录。
• 训练能够从音频中学习流派特定特征的音乐感知声学模型。
• 采用基于流派的方法将背景音乐视为信号结构的一部分，而非需去除的噪声。
• 系统性地评估最佳性能ASR流水线在不同音乐流派和语言模型下的表现。
• 采用端到端或混合建模框架，将歌词与对应音频段对齐。
• 利用特定数据集的数据增强和领域自适应技术，以提升泛化能力。

实验结果

研究问题

• RQ1 在多音音乐中，结合音乐流派特定特征是否能提升自动歌词转录性能？
• RQ2 在多音音频上应用时，不同ASR流水线在歌词转录准确率方面如何比较？
• RQ3 音乐流派对歌词转录系统性能有何影响？
• RQ4 语言模型与音乐感知声学模型在提升转录结果方面如何相互作用？
• RQ5 将背景音乐建模为结构组成部分是否能优于噪声去除策略？

主要发现

• 所提出的基于流派的声学建模方法在多个知名多音测试数据集上显著提升了歌词转录性能。
• 该系统在转录和对齐任务中均优于所有可比的现有系统。
• 显式建模音乐流派特征可提升在多样化音乐风格下的泛化能力和鲁棒性。
• 最佳性能流水线在结合特定流派声学建模后表现出显著提升。
• 语言模型进一步提升了性能，尤其在与音乐感知特征结合时效果更明显。
• 该方法在不依赖背景音乐抑制技术的情况下实现了最先进结果。