[논문 리뷰] MARBLE: Music Audio Representation Benchmark for Universal Evaluation

Ruibin Yuan, Yinghao Ma외 23명|arXiv (Cornell University)|2023. 06. 18.

Music and Audio Processing인용 수 6

한 줄 요약

MARBLE는 음악 음성 표현을 평가하기 위한 종합적이고 커뮤니티 기반의 벤치마크로, 음악의 음향, 연주, 악보, 고수준 기술적 설명의 네 계층 분류 체계에 따라 18개의 작업을 포함한다. 12개의 공공 데이터셋을 기반으로 통일된 평가 프로토콜을 통해 표준화되며, 대규모 미리 훈련된 음악어휘 모델이 최고 성능을 기록하고 있음을 드러내지만, 음악 태깅 및 소스 분리와 같은 작업에서는 여전히 향상 여지가 크다.

ABSTRACT

In the era of extensive intersection between art and Artificial Intelligence (AI), such as image generation and fiction co-creation, AI for music remains relatively nascent, particularly in music understanding. This is evident in the limited work on deep music representations, the scarcity of large-scale datasets, and the absence of a universal and community-driven benchmark. To address this issue, we introduce the Music Audio Representation Benchmark for universaL Evaluation, termed MARBLE. It aims to provide a benchmark for various Music Information Retrieval (MIR) tasks by defining a comprehensive taxonomy with four hierarchy levels, including acoustic, performance, score, and high-level description. We then establish a unified protocol based on 14 tasks on 8 public-available datasets, providing a fair and standard assessment of representations of all open-sourced pre-trained models developed on music recordings as baselines. Besides, MARBLE offers an easy-to-use, extendable, and reproducible suite for the community, with a clear statement on copyright issues on datasets. Results suggest recently proposed large-scale pre-trained musical language models perform the best in most tasks, with room for further improvement. The leaderboard and toolkit repository are published at https://marble-bm.shef.ac.uk to promote future music AI research.

연구 동기 및 목표

• 음악 이해 분야에서 음악 음성 표현을 평가하기 위한 통합적이고 커뮤니티 기반의 벤치마크가 부족한 문제를 해결하기 위해.
• 기존 음악 표현 모델 간의 분산되고 일관성 없는 평가 관행을 해결하기 위해.
• 음악가들의 합의에 부합하는 계층적 분류 체계를 활용해 다양한 음악정보검색(MIR) 작업의 평가를 표준화하기 위해.
• 통일된 프로토콜과 오픈 툴킷을 통해 사전 훈련된 음악 모델의 공정하고 재현 가능하며 확장 가능한 벤치마크 평가를 가능하게 하기 위해.
• 중앙집중식 랭킹리스트와 접근 가능한 평가 세트를 제공함으로써 음악 표현 학습 분야의 진전을 촉진하기 위해.

제안 방법

• 음악가들의 합의에 부합하는 네 수준의 분류 체계인 음향, 연주, 악보, 고수준 기술적 설명을 활용해 MIR 작업을 조직화하는 사전 분류 체계를 제안한다.
• 폐기된 MIREX 챌린지와 공개된 데이터셋에서 유래한 18개의 하류 MIR 작업을 선정하며, 분류 및 시퀀스 레이블링 작업(예: 박자 추적, 소스 분리 등)을 포함한다.
• 세 가지 훈련 설정(비제약, 반제약, 제약)을 포함한 통일된 평가 프로토콜을 수립하여 하이퍼파라미터 제약 및 기초 모델 고정 여부를 다양화한다.
• 모델 평가의 재현 가능성과 공정성을 보장하기 위해 표준화된 전처리 및 데이터 분할 파이프라인을 설계한다.
• 데이터셋 전처리 및 평가를 위한 코드를 포함한 툴킷을 통합하여 오픈소스 사전 훈련 모델의 간편한 벤치마크 평가를 가능하게 한다.
• 모델을 통합 특징 추출기로 간주하고, 작업별 헤드를 사용하여 모든 작업에서 9개의 오픈소스 사전 훈련 모델을 평가한다.

Figure 1 : SSL Baselines Compared to previous SOTA. The performances of the tasks are merged according to the task types demonstrated in Tab. 1 . Results not applicable are set to $0$ .

실험 결과

연구 질문

• RQ1 다양한 음악 음성 표현 모델을 공정하게 평가하기 위해 종합적이고 표준화된 벤치마크를 어떻게 설계할 수 있는가?
• RQ2 대규모 사전 훈련된 음악어휘 모델은 다른 모델 대비 다양한 MIR 작업에 얼마나 잘 일반화되는가?
• RQ3 음악 태깅 및 소스 분리와 같은 핵심 작업에서 성능 격차는 무엇이며, 무엇을 더 개선할 필요가 있는가?
• RQ4 제약, 반제약, 비제약 설정을 포함한 통일된 프로토콜이 모델 평가의 일관성과 공정성에 어떤 영향을 미치는가?
• RQ5 커뮤니티 기반, 오픈소스이며 확장 가능한 벤치마크는 재현 가능성 향상과 음악 표현 학습 분야의 진전을 어떻게 가속화할 수 있는가?

주요 결과

• 대규모 사전 훈련된 음악어휘 모델은 MARBLE 벤치마크의 대부분의 작업에서 최고 성능 또는 비교 가능한 성능을 기록한다.
• 음악 태깅 및 소스 분리 작업에서의 성능는 여전히 최적화되지 않아 표현 학습 분야에서 향상 여지가 크다는 것을 시사한다.
• 통일된 프로토콜은 다양한 모델과 작업 간에 일관되고 재현 가능한 평가를 가능하게 하여 벤치마크 평가 관행의 변동성을 감소시킨다.
• 벤치마크는 분류 작업뿐 아니라 시퀀스 레이블링 작업, 예를 들어 프레임 단위 예측(박자 추적, 소스 분리 등)까지도 성공적으로 통합하였다.
• GitHub와 MARBLE 웹사이트에 랭킹리스트와 툴킷을 공개한 결과, 커뮤니티의 즉각적인 수용이 이루어졌으며, 모델 간 공정한 비교를 촉진하였다.
• 향후 버전에서는 더 큰 상용 데이터셋의 필요성과 커버송 감지, 휠링 기반 쿼리 검색과 같은 추가 작업의 포함이 필요하다는 점을 벤치마크가 드러냈다.

(a) Scores at Acoustic-level and Score-level.