[논문 리뷰] MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training

Mingliang Zeng, Xu Tan외 4명|arXiv (Cornell University)|2021. 06. 10.

Music and Audio Processing참고 문헌 34인용 수 10

한 줄 요약

MusicBERT는 장기 음악 시퀀스에 대해 효율적으로 표현하고 사전 훈련하기 위해 옥트플MIDI 인코딩과 바 수준 마스킹을 도입한 대규모 사전 훈련 모델로, 100만首 음악 데이터셋을 사용하여 멜로디 완성, 반주 제안, 장르 및 스타일 분류에서 최신 기술 수준을 달성한다. 기존 방법보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Symbolic music understanding, which refers to the understanding of music from the symbolic data (e.g., MIDI format, but not audio), covers many music applications such as genre classification, emotion classification, and music pieces matching. While good music representations are beneficial for these applications, the lack of training data hinders representation learning. Inspired by the success of pre-training models in natural language processing, in this paper, we develop MusicBERT, a large-scale pre-trained model for music understanding. To this end, we construct a large-scale symbolic music corpus that contains more than 1 million music songs. Since symbolic music contains more structural (e.g., bar, position) and diverse information (e.g., tempo, instrument, and pitch), simply adopting the pre-training techniques from NLP to symbolic music only brings marginal gains. Therefore, we design several mechanisms, including OctupleMIDI encoding and bar-level masking strategy, to enhance pre-training with symbolic music data. Experiments demonstrate the advantages of MusicBERT on four music understanding tasks, including melody completion, accompaniment suggestion, genre classification, and style classification. Ablation studies also verify the effectiveness of our designs of OctupleMIDI encoding and bar-level masking strategy in MusicBERT.

연구 동기 및 목표

• 기호 음악에 대한 대규모 데이터셋과 효과적인 사전 훈련 기법의 부족을 해결하기 위해.
• 기호 음악의 구조적 복잡성과 장기 시퀀스 길이로 인해 자연어 처리 사전 훈련 기법을 직접 적용할 수 있는 한계를 극복하기 위해.
• 시퀀스 길이를 줄이면서도 풍부한 음악 정보를 유지하는 효율적이고 보편적인 음악 인코딩 방법을 설계하기 위해.
• 정보 泄漏를 방지하고 기호 음악 사전 훈련에서 표현 학습을 향상시키기 위한 마스킹 전략을 개발하기 위해.
• 광범위한 아블레이션 및 최종 작업 평가를 통해 MusicBERT의 효과성을 다양한 음악 이해 작업 전반에서 입증하기 위해.

제안 방법

• 옥트플MIDI 인코딩은 각 음을 시간 signatures, 템포, 바, 위치, 악기, 음고, 지속시간, 속도의 8개 요소로 구성된 튜플로 표현하여 압축적이고 보편적인 표현을 가능하게 한다.
• 이 방법은 평균 시퀀스 길이를 1곡당 3,607 토큰으로 줄여 REMI 대비 4배, CP 대비 2배 짧게 하여 계산 효율성을 향상시킨다.
• 바 수준 마스킹 전략은 한 바 안의 동일한 유형(예: 음고, 악기)의 모든 토큰을 마스킹하여 이웃한 동일한 속성으로부터의 정보 泄漏를 방지한다.
• 이 전략은 이웃에서 복사해내는 것이 쉬운 예측을 방지하고, 모델이 맥락에서 의미 있는 표현을 학습하도록 유도한다.
• MusicBERT는 락, 일렉트로니카, 재즈, 클래식 등 다양한 장르를 포함한 100만 건 이상의 음악을 담은 신규 구축된 밀리언MIDI데이터셋(MMD)에서 사전 훈련된다.
• 모델는 표준 트랜스포머 기반 아키텍처를 사용하며, 멜로디 완성, 반주 제안, 장르 및 스타일 분류와 같은 최종 작업에 대해 미세조정된다.

실험 결과

연구 질문

• RQ1 다양하고 대규모의 데이터셋에서 훈련된 대규모 사전 훈련 모델이 기호 음악 표현 학습에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 옥트플MIDI 인코딩이 모든 작업에서 충분한 음악 정보를 유지하면서도 시퀀스 길이를 효과적으로 줄일 수 있는가?
• RQ3 정보 泄漏를 방지하고 표현 학습을 향상시키는 데서 바 수준 마스킹이 랜덤 마스킹이나 토큰 수준 마스킹보다 우월한가?
• RQ4 대규모 코퍼스에서의 사전 훈련이 랜덤 초기화 대비 음악 이해 작업 성능을 얼마나 향상시키는가?
• RQ5 MusicBERT가 문장 수준 및 곡 수준 분류를 포함한 다양한 음악 이해 작업으로의 일반화 능력은 어느 정도인가?

주요 결과

• MusicBERT는 모든 4개 평가 작업에서 최신 기술 수준의 성능을 달성한다: 멜로디 완성(96.7% 정확도), 반주 제안(87.9% 정확도), 장르 분류(F1-micro 0.730), 스타일 분류(F1-micro 0.534).
• 옥트플MIDI 인코딩은 모든 작업에서 CP 유사 및 REMI 유사 인코딩을 모두 초월하며, 정확도 및 F1 점수에서 1.0~4.7%p의 향상을 보였다.
• 바 수준 마스킹 전략은 멜로디 완성에서 96.7% 정확도, 장르 분류에서 F1 0.730로 가장 높은 성능을 기록했으며, 랜덤 마스킹 및 옥트플 수준 마스킹보다 뛰어났다.
• 사전 훈련은 성능을 크게 향상시키며, 멜로디 완성 정확도는 4.3%p 상승했고, 장르 분류 F1 점수는 사전 훈련이 없는 모델 대비 13.5점 상승했다.
• 옥트플MIDI를 통한 모델의 압축 표현은 REMI 유사 인코딩 대비 계산 복잡도를 16배 감소시켜 장기 시퀀스에서의 효율적인 훈련과 추론을 가능하게 했다.
• 아블레이션 연구 결과, 옥트플MIDI와 바 수준 마스킹은 모두 전체 성능 향상에 기여하는 필수 구성 요소로 확인되었으며, 각각 뚜렷한 기여를 하였다.