[논문 리뷰] End-to-end learning for music audio tagging at scale

Jordi Pons, Oriol Nieto외 4명|arXiv (Cornell University)|2017. 11. 07.

Music and Audio Processing참고 문헌 19인용 수 82

한 줄 요약

이 논문은 대역 규모가 증가하는 데이터셋에서 음악 자동 태깅을 위해 엔드-투-엔드 파형 기반 모델과 도메인 지식이 있는 스펙트로그램 기반 모델을 비교하고, 대규모 데이터(100만 곡)로 학습했을 때 파형 모델이 스펙트로그램 모델보다 성능이 우수함을 보인다.

ABSTRACT

The lack of data tends to limit the outcomes of deep learning research, particularly when dealing with end-to-end learning stacks processing raw data such as waveforms. In this study, 1.2M tracks annotated with musical labels are available to train our end-to-end models. This large amount of data allows us to unrestrictedly explore two different design paradigms for music auto-tagging: assumption-free models - using waveforms as input with very small convolutional filters; and models that rely on domain knowledge - log-mel spectrograms with a convolutional neural network designed to learn timbral and temporal features. Our work focuses on studying how these two types of deep architectures perform when datasets of variable size are available for training: the MagnaTagATune (25k songs), the Million Song Dataset (240k songs), and a private dataset of 1.2M songs. Our experiments suggest that music domain assumptions are relevant when not enough training data are available, thus showing how waveform-based models outperform spectrogram-based ones in large-scale data scenarios.

연구 동기 및 목표

• raw 오디오 또는 스펙트로그램 표현으로 학습하여 대규모 음악 컬렉션의 자동 태깅을 동기화한다.
• 파형 기반의 가정 없는 모델과 로그-멜 스펙트로그램 기반의 도메인 지식 주도 모델이라는 두 설계 패러다임을 비교한다.
• 여러 공공/사설 데이터셋에서 학습 데이터가 커질 때 성능 변화를 평가한다.
• 대규모 데이터 하에서 도메인 지식 제약이 학습에 제한을 주는지 평가한다.

제안 방법

• 두 가지 전처리 프런트엔드 정의: 파형(샘플 수준, 작은 1D 필터)과 스펙트로그램(로그-멜, 다수의 수직/수평 필터) 프런트엔드.
• 공유 백엔드 사용: 잔차 연결이 있는 3개의 1D-CNN 층, 시간적 풀링, Dense 출력; 전역 풀링으로 가변 길이 입력 가능.
• 15초 패치를 엔드-투-엔드로 학습; 전체 곡에 대한 패치 예측을 평균 내어 예측.
• ROC-AUC 및 PR-AUC를 태그 분류에, 데이터셋 전반의 회귀형 태그에 대해 RMSE를 평가.
• 엔드-투-엔드 이득을 측정하기 위해 피처 추출 + 그래디언트 부스팅 트리기반 대조군과 비교.

실험 결과

연구 질문

• RQ1 파형 기반의 엔드-투-엔드 모델은 데이터 regime에서 스펙트로그램 기반 모델과 음악 자동 태깅에서 어떻게 비교되는가?
• RQ2 대규모 학습 데이터가 도메인 지식 기반의 아키텍처 제약의 필요성을 약화시키는가?
• RQ3 데이터 크기가 각 프런트엔드(파형 vs. 스펙트로그램)의 모델 성능에 미치는 영향은 무엇인가?
• RQ4 데이터가 풍부할 때 파형 모델이 최첨단 스펙트로그램 모델과 대등하거나 우수한 성능을 낼 수 있는가?

주요 결과

• 1.2M 곡에서 파형 모델은 ROC-AUC, PR-AUC, RMSE에서 스펙트로그램 모델을 능가하고, 베이스라인 피처 기반 시스템을 능가한다.
• 1M 학습 곡에서 파형 모델이 최고 ROC-AUC(92.50%)와 PR-AUC(61.20%)를 달성하며, 스펙트로그램 모델(Roc-AUC 92.17%, PR-AUC 59.92%)을 상회한다.
• 100k 또는 500k 곡으로 학습 시에는 스펙트로그램 모델이 비교적 또는 약간 더 나은 성능을 보이며, 데이터가 제한될 때 도메인 지식의 이점이 나타난다.
• 1.2M, 1M, 500k, 100k 규모 전반에서 파형 모델은 데이터 스케일링의 이점을 더 크게 보이며, 데이터가 더 많아질수록 덜 제약적인 해 공간이 유리하다.
• 데이터가 작을 때 MSD에서 스펙트로그램 모델이 최첨단 결과에 맞춰지지만, 대규모 데이터에서는 파형 모델이 더 우수한 성능에 도달한다.