[论文解读] MT3: Multi-Task Multitrack Music Transcription

Josh Gardner, Ian Simon+3 more|arXiv (Cornell University)|Nov 4, 2021

Music and Audio Processing参考文献 39被引用 4

一句话总结

MT3 提出了一种统一的、多任务的、多轨的音乐转录框架，采用微调后的基于 T5 的 Transformer 模型，联合转录六个不同数据集中的多样化乐器组合。该方法在多种乐器上实现了最先进性能，尤其在低资源乐器（如吉他）上，相对性能提升最高达 260%，同时实现了跨不同乐器配置和粒度的一致评估与稳健的乐器标注。

ABSTRACT

Automatic Music Transcription (AMT), inferring musical notes from raw audio, is a challenging task at the core of music understanding. Unlike Automatic Speech Recognition (ASR), which typically focuses on the words of a single speaker, AMT often requires transcribing multiple instruments simultaneously, all while preserving fine-scale pitch and timing information. Further, many AMT datasets are "low-resource", as even expert musicians find music transcription difficult and time-consuming. Thus, prior work has focused on task-specific architectures, tailored to the individual instruments of each task. In this work, motivated by the promising results of sequence-to-sequence transfer learning for low-resource Natural Language Processing (NLP), we demonstrate that a general-purpose Transformer model can perform multi-task AMT, jointly transcribing arbitrary combinations of musical instruments across several transcription datasets. We show this unified training framework achieves high-quality transcription results across a range of datasets, dramatically improving performance for low-resource instruments (such as guitar), while preserving strong performance for abundant instruments (such as piano). Finally, by expanding the scope of AMT, we expose the need for more consistent evaluation metrics and better dataset alignment, and provide a strong baseline for this new direction of multi-task AMT.

研究动机与目标

• 解决在多样化数据集上缺乏统一的多任务、多轨音乐转录框架的问题。
• 通过在多个低资源数据集之间迁移学习，克服音乐转录中的数据稀缺问题。
• 在不同的人工音乐转录（AMT）数据集之间建立一致的评估指标和标准化的测试集划分。
• 通过在多个数据集上联合训练，提升对低资源乐器（如吉他）的性能。
• 为未来多乐器音乐转录研究提供一个强大且可泛化的基线。

提出的方法

• 采用序列到序列的 Transformer 架构（基于 T5）将原始音频频谱图映射为标记化的多轨 MIDI 输出。
• 设计了一种灵活且紧凑的标记化方案，将模型输出映射为多轨 MIDI 文件，支持在具有不同乐器集合的数据集之间进行联合训练。
• 将六个多轨 AMT 数据集（MAESTRO、Cerberus4、GuitarSet、MusicNet、Slakh2100、URMP）整合为一个统一的基准，用于多任务训练。
• 在所有数据集中应用标准化的测试集划分和一致的基于音符的评估指标（起音、止音和乐器 F1）。
• 评估不同层次的乐器分组（扁平化、MIDI 类别、完整）以衡量模型对标签粒度的鲁棒性。
• 在全部六个数据集的混合数据上端到端训练模型，实现零样本泛化和低资源性能提升。

实验结果

研究问题

• RQ1 一个单一的、通用的 Transformer 模型是否能在多样化的、低资源的多轨音乐转录数据集上实现强大性能？
• RQ2 在多个数据集上联合训练相比专用模型，能否显著提升低资源乐器的性能？
• RQ3 该模型在不同乐器标签粒度（如完整 vs. MIDI 类别）下，能否保持高水平的乐器标注准确性？
• RQ4 统一的评估协议（包含一致的指标和测试集划分）是否能提升 AMT 研究中结果的可比性和可复现性？
• RQ5 数据混合与迁移学习对零样本泛化到未见数据集的影响如何？

主要发现

• MT3 在全部六个多轨 AMT 数据集上均达到最先进性能，优于以往的专用数据集模型及专业 DSP 基于软件的转录工具。
• 对于低资源乐器（如吉他），MT3 相较基线模型在转录 F1 指标上最高实现 260% 的相对提升。
• 模型保持了高精度的乐器标注，即使在最细粒度的标签层级（完整分组）下，多乐器 F1 分数也接近起音-止音 F1 分数，表明极少发生乐器误分类。
• 通过留一数据集排除实验表明，该模型对分布偏移具有良好的泛化能力，能有效推广到未见数据集。
• 引入统一的评估协议，包含标准化的划分和指标，使得不同数据集和模型之间的比较更加公平。
• 统一的训练框架在不降低高资源乐器（如钢琴）性能的前提下，显著提升了低资源乐器的性能。