[논문 리뷰] Genre-Agnostic Key Classification With Convolutional Neural Networks

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|2018. 08. 16.

Music and Audio Processing참고 문헌 13인용 수 9

한 줄 요약

이 논문은 전체 곡 대신 짧은 오디오 스니펫으로 훈련하는 수정된 컨볼루션 신경망(KeyNet/S)을 사용하여 장르에 관계없이 키 분류 모델을 제안한다. 이는 더 빠르고 일반화 능력이 뛰어난 학습을 가능하게 한다. 모델는 계층적 화성 일관성을 활용하여 다양한 데이터셋에서 장르별 최신 기술보다 뛰어난 성능을 보이며, 장르별 튜닝 없이도 뛰어난 일반화 성능을 달성한다.

ABSTRACT

We propose modifications to the model structure and training procedure to a recently introduced Convolutional Neural Network for musical key classification. These modifications enable the network to learn a genre-independent model that performs better than models trained for specific music styles, which has not been the case in existing work. We analyse this generalisation capability on three datasets comprising distinct genres. We then evaluate the model on a number of unseen data sets, and show its superior performance compared to the state of the art. Finally, we investigate the model's performance on short excerpts of audio. From these experiments, we conclude that models need to consider the harmonic coherence of the whole piece when classifying the local key of short segments of audio.

연구 동기 및 목표

• 장르별 튜닝 없이도 다양한 음악 장르에 일반화되는 키 분류 모델을 개발하는 것.
• 기존 모델이 키 템플릿의 모드 및 장르 편향으로 인해 새로운 장르에서 성능이 떨어지는 한계를 해결하는 것.
• 전체 곡 대신 무작위로 선택한 짧은 스니펫으로 교체하여 훈련 효율성을 높이고 일반화 능력을 향상시키는 것.
• 전체 곡에 걸쳐 화성 일관성을 모델링하면 짧은 오디오 추출물에서의 키 검출 성능이 향상되는지 조사하는 것.

제안 방법

• 과적합과 파rameter 수를 줄이기 위해 풀 컨볼루션 구조로 밀집층을 교체하여 KeyNet 아키텍처를 수정한다.
• 전체 곡 대신 무작위로 선택한 20초 분량의 스펙트로그램 스니펫으로 모델을 훈련시켜 훈련 속도를 높이고 일반화 능력을 향상시킨다.
• 예측 오차를 최소화하기 위해 카테고리형 교차 엔트로피 손실과 함께 확률적 경사 하강법을 사용하여 지표 키 레이블과의 예측 오차를 최소화한다.
• 각 에포크마다 스펙트로그램의 무작위 자르기 방법을 통해 데이터 증강을 적용하여 훈련 데이터의 다양성을 높이고 과적합을 줄인다.
• 훈련 시에는 스니펫만 사용하지만 추론 시에는 전체 곡을 처리하여 정확도를 유지한다.
• 전자음악, 팝/록, 클래식 음악의 복합 데이터셋에서 검증 점수를 사용하여 하이퍼파라미터(예: 24개의 특징 맵, 0.1 드롭아웃)를 최적화한다.

실험 결과

연구 질문

• RQ1 다양한 음악 장르로 훈련된 딥 러닝 모델이 미세조정 없이도 새로운 장르에 효과적으로 일반화될 수 있는가?
• RQ2 전체 곡 훈련 대비 짧은 오디오 스니펫으로 훈련하는 것이 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 장르별로 튜닝된 최신 기술 시스템과 비교해 볼 때, 짧은 오디오 추출물에서의 모델 성능은 어떻게 되는가?
• RQ4 전체 곡에 걸친 화성 일관성이 짧은 세그먼트에서 정확한 키 분류에 얼마나 기여하는가?
• RQ5 왜 짧은 추출물에서는 성능 차이가 발생하는가, 특히 추출물 길이가 다양한 데이터셋에서는 어떤가?

주요 결과

• 제안된 모델는 Billboard, GiantSteps, Isophonics, KeyFinder를 포함한 모든 테스트 데이터셋에서 장르별 최신 기술 시스템을 능가하며, 더 뛰어난 F1-가중치 점수를 기록했다.
• Billboard 데이터셋에서 모델는 가중 F1 점수 75.2를 기록하여 최고의 경쟁 시스템(CK1)의 72.8을 초월했다.
• 모델는 장르 간에 효과적으로 일반화된다: 재훈련이나 모드 균형 조정 없이도 전자음악, 팝/록, 클래식 음악에서 일관되게 뛰어난 성능을 보였다.
• 짧은 추출물(예: <51초)은 훨씬 더 잘못 분류될 가능성이 높아, 키 검출에는 충분한 화성적 맥락이 필요하다는 것을 시사한다.
• 록 음악에서의 성능은 추출물 길이에 매우 민감하며, 올바르게 분류된 추출물의 중앙값 길이는 131초인 반면, 잘못된 경우는 51초였다.
• 결과적으로 향후 모델는 짧은 세그먼트에서의 키 변조를 효과적으로 탐지하기 위해 전체 곡에 걸친 계층적 화성 일관성을 고려해야 한다는 점을 시사한다.