[论文解读] MARBLE: Music Audio Representation Benchmark for Universal Evaluation

Ruibin Yuan, Yinghao Ma+23 more|arXiv (Cornell University)|Jun 18, 2023

Music and Audio Processing被引用 6

一句话总结

MARBLE 是一个全面的、由社区驱动的基准测试，用于在涵盖四个分类层级（声学、表演、乐谱和高层次描述）的18项任务中评估音乐音频表征。它通过在12个公开数据集上采用统一协议来标准化评估，揭示出大规模预训练音乐语言模型已达到最先进性能，但在音乐标签分类和音源分离等任务中仍有显著改进空间。

ABSTRACT

In the era of extensive intersection between art and Artificial Intelligence (AI), such as image generation and fiction co-creation, AI for music remains relatively nascent, particularly in music understanding. This is evident in the limited work on deep music representations, the scarcity of large-scale datasets, and the absence of a universal and community-driven benchmark. To address this issue, we introduce the Music Audio Representation Benchmark for universaL Evaluation, termed MARBLE. It aims to provide a benchmark for various Music Information Retrieval (MIR) tasks by defining a comprehensive taxonomy with four hierarchy levels, including acoustic, performance, score, and high-level description. We then establish a unified protocol based on 14 tasks on 8 public-available datasets, providing a fair and standard assessment of representations of all open-sourced pre-trained models developed on music recordings as baselines. Besides, MARBLE offers an easy-to-use, extendable, and reproducible suite for the community, with a clear statement on copyright issues on datasets. Results suggest recently proposed large-scale pre-trained musical language models perform the best in most tasks, with room for further improvement. The leaderboard and toolkit repository are published at https://marble-bm.shef.ac.uk to promote future music AI research.

研究动机与目标

• 为解决音乐理解领域中缺乏统一、由社区驱动的音乐音频表征评估基准的问题。
• 克服现有音乐表征模型评估方法分散且不一致的现状。
• 通过与音乐家共识一致的分层分类体系，标准化多样化的音乐信息检索（MIR）任务评估。
• 通过统一协议和开源工具包，实现预训练音乐模型的公平、可复现且可扩展的基准测试。
• 通过提供集中化的排行榜和可访问的评估套件，推动音乐表征学习的进步。

提出的方法

• 提出一个四级分类体系——声学、表演、乐谱和高层次描述——并与音乐家共识对齐，以组织MIR任务。
• 从已停办的MIREX挑战赛和公开数据集中选取18项下游MIR任务，涵盖分类和序列标注任务（如节拍追踪、音源分离）。
• 建立统一的评估协议，包含三种训练设置：无约束、半约束和约束设置，以调整超参数限制和主干网络冻结策略。
• 设计标准化的预处理和数据划分流程，确保模型评估在不同模型和任务间具备可复现性和公平性。
• 集成一个工具包，包含数据集预处理和评估的代码，便于对开源预训练模型进行便捷的基准测试。
• 在所有任务上评估9个开源预训练模型，使用任务特定的分类头，同时将模型视为通用特征提取器。

Figure 1 : SSL Baselines Compared to previous SOTA. The performances of the tasks are merged according to the task types demonstrated in Tab. 1 . Results not applicable are set to $0$ .

实验结果

研究问题

• RQ1 如何设计一个全面且标准化的基准测试，以公平评估多样化的音乐音频表征模型？
• RQ2 大规模预训练音乐语言模型在多样化MIR任务上的泛化能力，相较于其他模型有多大程度的提升？
• RQ3 在音乐标签分类和音源分离等关键任务中，性能差距体现在何处，尚需哪些改进？
• RQ4 包含约束、半约束和无约束设置的统一协议，如何影响模型评估的一致性和公平性？
• RQ5 一个由社区驱动、开源且可扩展的基准测试，是否能提升可复现性并加速音乐表征学习的发展？

主要发现

• 大规模预训练音乐语言模型在MARBLE基准测试的大多数任务中均达到最先进或相当的性能。
• 音乐标签分类和音源分离任务的性能仍不理想，表明表征学习方面仍有显著改进空间。
• 统一协议实现了在多样化模型和任务间的一致且可复现的评估，减少了基准测试实践中的变异性。
• 该基准测试成功整合了分类和序列标注任务，包括帧级预测任务，如节拍追踪和音源分离。
• 在GitHub和MARBLE官网发布排行榜和工具包后，已实现社区采纳，并促进了模型间的公平比较。
• 该基准测试凸显了未来版本中需要更大规模、商业可用的数据集，以及增加如翻唱歌曲检测和哼唱查询等新任务的必要性。

(a) Scores at Acoustic-level and Score-level.