[논문 리뷰] Evaluation of CNN-based Automatic Music Tagging Models

Minz Won, Andrés Ferraro외 2명|arXiv (Cornell University)|2020. 06. 01.

Music and Audio Processing참고 문헌 16인용 수 46

한 줄 요약

이 논문은 MTAT, MSD, MTG-Jamendo의 세 데이터셋에서 state-of-the-art CNN 기반 음악 태깅 모델의 일관된 평가를 제공하고 입력 교란에 대한 강인성을 평가하며, 사전 학습된 PyTorch 구현과 모델이 공개되어 있다.

ABSTRACT

Recent advances in deep learning accelerated the development of content-based automatic music tagging systems. Music information retrieval (MIR) researchers proposed various architecture designs, mainly based on convolutional neural networks (CNNs), that achieve state-of-the-art results in this multi-label binary classification task. However, due to the differences in experimental setups followed by researchers, such as using different dataset splits and software versions for evaluation, it is difficult to compare the proposed architectures directly with each other. To facilitate further research, in this paper we conduct a consistent evaluation of different music tagging models on three datasets (MagnaTagATune, Million Song Dataset, and MTG-Jamendo) and provide reference results using common evaluation metrics (ROC-AUC and PR-AUC). Furthermore, all the models are evaluated with perturbed inputs to investigate the generalization capabilities concerning time stretch, pitch shift, dynamic range compression, and addition of white noise. For reproducibility, we provide the PyTorch implementations with the pre-trained models.

연구 동기 및 목표

• 이전 연구의 서로 다른 실험 설정으로 인한 비교 가능한 평가의 필요성 제기.
• 공통 프로토콜 하에서 여러 CNN 기반 음악 태깅 모델의 통합 평가 제공.
• 시간 스트레치, 피치 시프트, 다이맥 레인지 압축, 화이트 노이즈에 대한 모델 강인성 평가.
• 재현 가능성을 위한 오픈 소스 PyTorch 구현 및 사전 학습 모델 제공.

제안 방법

• 음악 태깅을 위한 다양한 CNN 기반 아키텍처를 검토하고 구현(FCN, MusicNN, Sample-level CNN, CRNN, Self-attention, Harmonic CNN, Short-chunk CNN 및 변형들).
• 데이터셋 전반에 걸친 입력 표현(Mel-스펙트로그램, 일관된 FFT 및 중첩) 및 학습 설정 표준화.
• 태그를 평균화한 macro ROC-AUC 및 PR-AUC로 모델 평가, 청크 기반 모델의 경우 16-chunk 집계와 함께.
• MUDA 기반 변형을 사용한 피치 시프트, 타임 스트레치, 다이맥 레인지 압축 및 화이트 노이즈로 테스트 오디오를 perturb 하여 강인성 조사.
• 재현을 촉진하기 위한 사전 학습 모델 및 PyTorch 구현 제공.

실험 결과

연구 질문

• RQ1 어떤 CNN 기반 아키텍처가 공통 벤치마크에서 자동 음악 태깅에 가장 우수한 성능을 보이는가?
• RQ2 짧은 청크 학습 전략이 더 긴 입력 아키텍처에 비해 정확성 및 일반화 측면에서 어떻게 비교되는가?
• RQ3 3x3 필터, 풀링, 하모닉 표현 등 모델 설계 선택이 일반 오디오 교란에 대한 강인성에 미치는 영향은 무엇인가?
• RQ4 도메인 지식에 기반한 모델(예: Musicnn, Harmonic CNN)이 데이터셋 크기가 커질수록 이점을 유지하는가?
• RQ5 다양한 평가 프로토콜(송 수준 대 청크 수준 학습)이 데이터셋 간 보고된 성능에 어떤 영향을 미치는가?

주요 결과

• Short-chunk CNN 변형이 MTAT, MSD, MTG-Jamendo 전역에서 일관되게 최고 성능을 달성한다.
• Harmonic CNN 및 Short-chunk CNN은 입력 교란하에서 강한 일반화를 보이며 대부분의 변형 유형에서 다른 모델보다 우수하다.
• 짧은 오디오 발췌(3.69s–5s)로 학습된 모델이 대부분의 데이터셋에서 더 긴 구간(29.1s)을 사용한 모델보다 우수하다.
• Self-attention은 순차 모델 중 CRNN보다 약간 우세하나, 최상위 Short-chunk CNN이나 Harmonic CNN을 능가하지는 못한다.
• Musicnn은 MTAT에서 경쟁력이 있지만 더 큰 데이터셋에서는 다른 아키텍처에 의해 열위에 놓일 수 있다.
• CRC 기반 및 음악 도메인 지식 주도 설계는 더 크거나 더 다양한 데이터셋으로 확장될 때 뒤처질 수 있다.