[논문 리뷰] Supervised and Unsupervised Learning of Audio Representations for Music Understanding

Matthew McCallum, Filip Korzeniowski외 3명|arXiv (Cornell University)|2022. 10. 07.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 음악 이해를 위한 오디오 표현의 지도 학습 및 비지도 학습 전훈 방식을 비교하며, 대규모 전문가가 태그한 음악 데이터셋을 기반으로 한 지도 학습이 100M 파라미터 이하의 모델에서도 다양한 음악 태깅 작업에서 최신 기술 수준(SOTA) 성능을 달성함을 보여준다. 음악 전용 데이터에서의 비지도 학습 역시 강력한 성능을 기록하며 일반 도메인 비지도 모델을 능가하고, 키 추정 및 기타 작업에서 성능 향상을 보였다.

ABSTRACT

In this work, we provide a broad comparative analysis of strategies for pre-training audio understanding models for several tasks in the music domain, including labelling of genre, era, origin, mood, instrumentation, key, pitch, vocal characteristics, tempo and sonority. Specifically, we explore how the domain of pre-training datasets (music or generic audio) and the pre-training methodology (supervised or unsupervised) affects the adequacy of the resulting audio embeddings for downstream tasks. We show that models trained via supervised learning on large-scale expert-annotated music datasets achieve state-of-the-art performance in a wide range of music labelling tasks, each with novel content and vocabularies. This can be done in an efficient manner with models containing less than 100 million parameters that require no fine-tuning or reparameterization for downstream tasks, making this approach practical for industry-scale audio catalogs. Within the class of unsupervised learning strategies, we show that the domain of the training dataset can significantly impact the performance of representations learned by the model. We find that restricting the domain of the pre-training dataset to music allows for training with smaller batch sizes while achieving state-of-the-art in unsupervised learning -- and in some cases, supervised learning -- for music understanding. We also corroborate that, while achieving state-of-the-art performance on many tasks, supervised learning can cause models to specialize to the supervised information provided, somewhat compromising a model's generality.

연구 동기 및 목표

• 음악 이해 작업을 위한 오디오 표현 품질에 미치는 전훈 데이터 도메인(음악 대비 일반 오디오)과 학습 철학(지도 대비 비지도)의 영향을 평가하는 것.
• 피팅 튜닝 없이 대규모 음악 데이터셋에서 훈련된 컴act 모델(100M 파라미터 이하)의 확장성 및 성능을 평가하는 것.
• 음악 전용 데이터에서의 비지도 학습이 키 및 톤 추정과 같은 작업에서 지도 학습 성능을 따라잡거나 능가할 수 있는지 조사하는 것.
• 특히 지도 학습 모델이 훈련 레이블 분포에 특화되어 일반화 능력을 상실할 수 있는 경우, 성능와 일반화 사이의 상충 관계를 분석하는 것.
• 배치 크기와 데이터 도메인이 음악 표현 학습을 위한 비지도 대비 학습에 미치는 영향을 규명하는 것.

제안 방법

• 음악셋(Musicset) 데이터셋에서의 매그니튜드 로그멜 스펙트로그램을 사용해 지도 학습을 통해 오디오 모델을 전훈한다. 이 데이터셋은 대규모 전문가 태그가 부여된 음악 데이터셋이다.
• 같은 오디오 데이터에 대해 레이블을 제외하고 비지도 대비 학습(SimCLR 손실)을 적용하여 레이블 없이 표현을 학습한다.
• 도메인 특화(음악 전용)와 일반 도메인(일반 오디오) 전훈을 비교하기 위해 음악 전용(Musicset) 및 일반 오디오(Audioset) 데이터셋을 모두 사용해 모델을 훈련한다.
• 다른 배치 크기(1920 및 256)를 사용해 비지도 표현 품질에 대한 훈련 동역학의 영향을 평가한다.
• 다양한 최종 응용 작업, 즉 장르, 분위기, 키, 톤, 악기 종류 등에 대해 선형 프로브를 통해 학습된 임베딩을 평가한다.
• 모델 아키텍처와 추론 프로토콜을 동일하게 유지해 공정한 성능 평가를 보장한다.

실험 결과

연구 질문

• RQ1 전문가가 태그한 음악 데이터에서의 지도 학습이 다양한 음악 태깅 작업에서 최신 기술 수준(SOTA) 성능을 달성하는가?
• RQ2 음악 전용 데이터에서의 비지도 학습이 일반 도메인 비지도 전훈 대비 경쟁력 있거나 슈퍼리어한 성능을 낼 수 있는가?
• RQ3 전훈 데이터셋을 음악으로 제한할 경우, 특히 키 및 톤 추정과 같은 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 지도 학습 모델이 훈련 레이블에 포함되지 않은 작업, 예를 들어 톤 및 키 검출에 얼마나 잘 일반화되는가?
• RQ5 비지도 대비 학습에서 배치 크기가 음악 표현 학습의 성능에 어떤 영향을 미치는가?

주요 결과

• Musicset-Sup 모델은 1억 개 이하의 파라미터를 가진 모델에서 장르, 분위기, 악기 종류 등 모든 다중레이블 음악 태깅 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 음악 전용 데이터에서의 비지도 학습(Musicset-ULarge)은 비지도 학습 분야에서 최신 기술 수준 성능을 기록하며, 키 추정과 같은 작업에서 일부 지도 학습 모델의 성능을 따라잡거나 능가한다.
• 음악 전용 데이터에서 전훈된 모델(Musicset-USmall)은 일반 오디오(Audioset-USmall)에서 전훈된 모델보다 모든 평가 작업에서 성능이 뛰어나, 도메인 특화성이 표현 품질 향상에 기여함을 시사한다.
• 지도 학습 모델은 톤 및 키 추정 작업에서 성능 저하를 보이며, 훈련 데이터에 존재하는 레이블에 특화되어 일반화 능력이 떨어질 수 있음을 확인한다.
• 음악 데이터에서 훈련된 비지도 모델는 작은 배치 크기(256)에서도 강력한 성능을 기록하며, 음악의 스펙트럼 동질성으로 인해 음수 샘플링 효율이 향상되었음을 시사한다.
• 결과적으로, 음악 전용 데이터에서 훈련된 컴팩트 모델(100M 파라미터 이하)은 더 큰 모델을 능가하거나 동등한 성능을 달성할 수 있으며, 훈련 비용과 추론 요구사항이 크게 감소함을 보여준다.