[논문 리뷰] MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training
MERT는 교사 모델(RVQ-VAE acoustic teacher 및 CQT musical teacher)을 사용하여 의사 타깃을 생성하는 다-task 자기지도형 사전 학습 패러다임을 도입하여, 확장 가능하고 오픈 소스 음악 PLM을 가능하게 하며 14개의 MIR 태스크에서 SOTA를 달성한다.
Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is partially due to the distinctive challenges associated with modelling musical knowledge, particularly tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified an effective combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantisation - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attain state-of-the-art (SOTA) overall scores.
연구 동기 및 목표
- 자기지도 학습(SSL)을 활용하는 음향 음악 이해를 위한 일반적이고 오픈 소스인 사전 학습 모델의 개발을 촉진한다.
- 사운드 특성과 악기 음색, 피치, 화성 및 음악 구조를 포착하기 위해 음향 및 음악적 사전 지식을 모두 통합하는 확장 가능한 프레임워크를 구현한다.
- 태깅을 넘어서는 여러 다운스트림 MIR 태스크를 지원하는 저렴하고 확장 가능한 사전 학습 접근법을 제공한다.
- 향후 음향 음악 사전 학습 연구를 안내하기 위해 교사 구성과 학습 안정성을 분석한다.
제안 방법
- 순차적 음악 데이터에 대해 교사 생성 의사 타깃을 사용하는 MLM 스타일의 SSL 프레임워크를 채택한다.
- 모델이 이해할 수 있도록 이산화된 음향 타깃을 제공하는 음향 교사(RVQ-VAE/EnCodec)를 사용한다.
- 피치 및 하모닉 인덕티브 바이어스를 주입하기 위해 음악 교사(Constant-Q Transform)를 추가한다.
- 5초 컨텍스트 창을 갖춘 트랜스포머 기반 인코더를 학습시켜 95M에서 330M 파라미터까지 확장 가능하도록 한다.
- 표현의 균형을 맞추기 위해 L = alpha * L_H + L_CQT로 음향 손실과 음악 손실을 결합한 공동 목적 함수를 구성한다.

실험 결과
연구 질문
- RQ1음향 교사와 음악 교사를 사용한 자기지도 사전 학습이 다양한 MIR 태스크에 일반화 가능한 표현을 생성할 수 있는가?
- RQ2다른 교사 구성(k-means, RVQ-VAE/EnCodec, 및 CQT)이 피치, 비트, 키, 장르, 감정, 소스 분리 태스크의 다운스트림 성능에 어떤 영향을 미치는가?
- RQ3수억 개의 파라미터로 규모를 확장할 때 어떤 학습 안정성 전략이 효과적인가?
- RQ4PLM과 같은 프레임워크에서 컨텍스트 길이와 배치 크기가 음악 특화 표현 학습에 미치는 영향은 무엇인가?
주요 결과
- RVQ-VAE 음향 교사와 CQT 음악 교사를 사용한 MERT-330M은 다수의 태스크에서 SOTA를 달성하며, 기존 SOTA 방법의 앙상블에 필적하거나 이를 능가한다.
- 오픈 데이터가 포함된 더 작은 MERT-95M 모델도 경쟁력을 발휘하며 제한된 학습 데이터로도 강한 일반화를 보여준다.
- 음악 교사 신호를 통합하는 것이 특히 CQT의 경우, 음향만 설정과 비교하여 키 탐지 및 기타 고수준 태스크를 크게 향상시킨다.
- RVQ-VAE 기반 음향 타깃은 더 큰 K-means 설정과 비슷한 성능을 제공하면서 확장 비용을 줄인다.
- 주의 완화(attention relaxation)와 사전 계층 정규화(pre-layer normalization)에 의해 학습 안정성이 개선되어 더 큰 모델 규모가 가능해진다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.