Skip to main content
QUICK REVIEW

[论文解读] MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Yizhi Li, Ruibin Yuan|arXiv (Cornell University)|May 31, 2023
Music and Audio ProcessingComputer Science被引用 26
一句话总结

MERT 引入一种多任务自监督预训练范式用于声学音乐理解,使用教师模型(RVQ-VAE 声学教师和 CQT 音乐教师)来生成伪目标,从而实现可扩展的开源音乐预训练模型(PLMs),在 14 个 MIR 任务上达到 SOTA。

ABSTRACT

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is partially due to the distinctive challenges associated with modelling musical knowledge, particularly tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified an effective combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantisation - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attain state-of-the-art (SOTA) overall scores.

研究动机与目标

  • 推动开发一个通用的、开源的声学音乐理解预训练模型,利用自监督学习(SSL)。
  • 在可扩展的框架中结合声学先验和音乐先验,以捕捉音色、音高、和声与音乐结构。
  • 提供一种经济、可扩展的预训练方法,支持除标签外的多种下游 MIR 任务。
  • 分析教师配置和训练稳定性,以指导未来的声学音乐预训练工作。

提出的方法

  • 采用带有教师生成伪标签的掩码语言模型(MLM)风格的自监督学习框架来处理序列化的音乐数据。
  • 使用声学教师(RVQ-VAE/EnCodec)提供可离散化的声学目标,模型可解释。
  • 加入音乐教师(Constant-Q Transform)以引入音高与和声的归纳偏置。
  • 训练一个基于 Transformer 的编码器,使用 5 秒上下文窗口,使参数规模从 95M 增长到 330M。
  • 将声学损失和音乐损失结合成联合目标 L = alpha * L_H + L_CQT,以平衡表征。
Figure 1: Illustration of the MERT Pre-training Framework.
Figure 1: Illustration of the MERT Pre-training Framework.

实验结果

研究问题

  • RQ1带有声学和音乐教师的自监督预训练是否能够为多样化的 MIR 任务产生可泛化的表征?
  • RQ2不同教师配置(k-means、RVQ-VAE/EnCodec 与 CQT)如何影响下游在音高、节拍、调号、流派、情感和源分离等任务上的性能?
  • RQ3在将声学音乐模型扩展到数亿参数时,哪些训练稳定性策略是有效的?
  • RQ4上下文长度和批量大小对在类似 PLM 的框架中学习音乐特定表征有何影响?

主要发现

  • MERT-330M 以 RVQ-VAE 声学教师和 CQT 音乐教师,在多项任务上达到最新状态,媲美或超越以往 SOTA 方法的集成。
  • 较小的 MERT-95M 模型在开源数据下也具竞争力,显示出在有限训练数据下的强泛化能力。
  • 整合音乐教师 cues(尤其是 CQT)显著提升了音调检测及其他高级任务,与仅声学设置相比。
  • 基于 RVQ-VAE 的声学目标在性能上可与更大规模的 K-means 设置相比,同时降低扩展成本。
  • 通过注意力放松和前层归一化改进了训练稳定性,使得更大的模型规模成为可能。
(a) Gradient Norm
(a) Gradient Norm

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。