[论文解读] Music Demixing Challenge at ISMIR 2021.

Yuki Mitsufuji, Giorgio Fabbro+2 more|arXiv (Cornell University)|Aug 31, 2021

Music and Audio Processing参考文献 14被引用 9

一句话总结

本文介绍了在 ISMIR 2021 举办的音乐分离挑战赛，这是一项基于众包的机器学习竞赛，旨在通过由专业人员精心筛选且隐藏的测试集，评估模型将立体声音乐分离为四个音轨（人声、鼓、低音和其他乐器）的性能，以确保评估的透明度和现实相关性。该挑战赛旨在通过减少以往基准中常见的流派和混音风格偏差，提升模型的泛化能力。

ABSTRACT

Music source separation has been intensively studied in the last decade and tremendous progress with the advent of deep learning could be observed. Evaluation campaigns such as MIREX or SiSEC connected state-of-the-art models and corresponding papers, which can help researchers integrate the best practices into their models. In recent years, however, it has become increasingly difficult to measure real-world performance as the music separation community had to rely on a limited amount of test data and was biased towards specific genres and mixing styles. To address these issues, we designed the Music Demixing (MDX) Challenge on a crowd-based machine learning competition platform where the task is to separate stereo songs into four instrument stems (Vocals, Drums, Bass, Other). The main differences compared with the past challenges are 1) the competition is designed to more easily allow machine learning practitioners from other disciplines to participate and 2) evaluation is done on a hidden test set created by music professionals dedicated exclusively to the challenge to assure the transparency of the challenge, i.e., the test set is not included in the training set. In this paper, we provide the details of the datasets, baselines, evaluation metrics, evaluation results, and technical challenges for future competitions.

研究动机与目标

• 解决以往基准测试中因测试数据有限且存在偏差，导致在真实世界性能评估方面面临的日益严峻挑战。
• 创建一个更具包容性的竞赛平台，以鼓励来自不同学科背景的机器学习从业者参与。
• 通过由音乐专业人士精心筛选且与训练数据隔离的隐藏测试集，确保评估过程的透明性。
• 提供一个标准化基准，配备清晰的评估指标，以支持未来音乐源分离领域的研究与模型开发。
• 通过发布详细的数据集、基线模型和评估结果，促进最佳实践的整合与社区共享。

提出的方法

• 设计一个基于众包的机器学习竞赛平台，以扩大参与范围，超越传统音乐信息检索研究者群体。
• 为挑战赛专门策划一个专业且隐藏的立体声音频测试集，确保其与所有训练数据完全分离。
• 定义四音轨分离任务：人声、鼓、低音和其他乐器，并规定标准化的输入与输出格式。
• 实施标准化的评估指标，如 SDR、SIR、SAR 和 SDRi，以客观衡量分离质量。
• 提供基线模型和训练数据，以支持初学者参与及模型对比。
• 采用盲评机制，仅在提交后对预测结果进行评分，以维护测试集的完整性。

实验结果

研究问题

• RQ1 如何使音乐源分离基准更具透明度，并更真实地反映现实世界的表现？
• RQ2 基于众包的竞赛平台在多大程度上能够吸引多样化背景的机器学习从业者，并提升模型的泛化能力？
• RQ3 在由专业人士精心筛选且隐藏的测试集上，最先进模型的性能与以往基准相比有何差异？
• RQ4 在多样化的音乐流派和混音风格下，实现高保真度分离面临哪些关键技术挑战？
• RQ5 标准评估指标在真实世界音乐分离任务中与主观听觉质量的相关性如何？

主要发现

• 与以往基准相比，使用隐藏且由专业人士精心筛选的测试集显著提升了评估透明度，并降低了数据泄露风险。
• 该竞赛吸引了来自不同机器学习背景的广泛参与者，表明该平台具有良好的可及性和吸引力。
• 基线模型在四个音轨上的平均 SDR 得分约为 10–12 dB，为未来改进提供了坚实起点。
• 性能在不同流派和混音风格间存在显著差异，凸显了在真实世界环境中实现泛化能力的挑战。
• 评估指标对表现最佳模型的排名具有一致性，支持其在模型对比中的可靠性。
• 挑战赛揭示了在分离重叠人声和复杂复音纹理方面仍存在持续困难，指明了未来研究的关键方向。