[논문 리뷰] Music Artist Classification with Convolutional Recurrent Neural Networks

Zain Nasrullah, Yue Zhao|arXiv (Cornell University)|2019. 01. 14.

Music and Audio Processing참고 문헌 36인용 수 6

한 줄 요약

이 논문은 원시 오디오 스펙트로그램을 사용하여 시간적 및 주파수적 특징을 캡처하는 컨volutional 순환 신경망(CRNN)을 제안하며, 기존의 전통적 기준 모델을 능가한다. 최고의 모델은 3초짜리 오디오 클립과 곡 수준 평가를 사용하여 artist20 데이터셋에서 평균 F1 스코어 0.937을 달성했으며, 학습된 표현에서의 클래스별 군집화를 확인하는 시각화 결과도 제시한다.

ABSTRACT

Previous attempts at music artist classification use frame level audio features which summarize frequency content within short intervals of time. Comparatively, more recent music information retrieval tasks take advantage of temporal structure in audio spectrograms using deep convolutional and recurrent models. This paper revisits artist classification with this new framework and empirically explores the impacts of incorporating temporal structure in the feature representation. To this end, an established classification architecture, a Convolutional Recurrent Neural Network (CRNN), is applied to the artist20 music artist identification dataset under a comprehensive set of conditions. These include audio clip length, which is a novel contribution in this work, and previously identified considerations such as dataset split and feature level. Our results improve upon baseline works, verify the influence of the producer effect on classification performance and demonstrate the trade-offs between audio length and training set size. The best performing model achieves an average F1 score of 0.937 across three independent trials which is a substantial improvement over the corresponding baseline under similar conditions. Additionally, to showcase the effectiveness of the CRNN's feature extraction capabilities, we visualize audio samples at the model's bottleneck layer demonstrating that learned representations segment into clusters belonging to their respective artists.

연구 동기 및 목표

• 엔드 투 엔드 오디오 표현을 사용하여 음악 예술가 분류를 위한 딥 러닝 기준 모델을 수립하기 위해.
• 오디오 클립 길이, 데이터셋 분할 방식(앨범 대비 곡), 평가 수준(프레임 대비 곡)이 모델 성능에 미치는 영향을 조사하기 위해.
• CRNN가 음성의 시간적 구조를 효과적으로 모델링하여, 프레임 수준 특징 기준 모델보다 성능을 향상시킬 수 있는지 검증하기 위해.
• 학습된 표현을 시각화하여 모델이 예술가별로 군집화되는 특징을 효과적으로 추출할 수 있는지 확인하기 위해.
• 코드, 결과 및 시각화 자료를 공개하여 재현 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 연구는 원시 오디오 스펙트로그램을 컨볼루션 계층을 통해 국소적인 주파수 패턴을 추출하고, 순환 계층을 통해 장거리 시간적 의존성을 모델링하는 CRNN 아키텍처를 사용한다.
• 오디오 클립은 스펙트로그램에서 고정 길이의 세그먼트(1~10초)로 잘라내며, 겹치는 윈도우를 활용해 향상 가능성을 탐색한다.
• 프레임 수준의 예측은 곡 수준에서 다수결 투표를 통해 집계되어 정확도와 강건성을 향상시킨다.
• 다양한 설정에서 모델을 훈련하고 평가한다: 오디오 클립 길이(1~10초), 데이터셋 분할 방식(앨범 또는 곡 기반), 특징 수준(원시 스펙트로그램 대비 MFCCs).
• t-SNE 시각화를 통해 병목층 활성화값을 분석하여 클래스 간 분리도와 예술가별 군집 형성 여부를 분석한다.
• 모델은 교차 엔트로피 손실과 Adam 최적화를 사용하여 훈련되며, 하이퍼파라미터는 검증 성능을 기반으로 조정된다.

실험 결과

연구 질문

• RQ1 오디오 클립 길이가 음악 예술가 분류에서 CRNN의 성능에 어떤 영향을 미치는가?
• RQ2 앨범 수준 분할 대비 곡 수준 분할에서 훈련 및 평가를 수행할 경우 분류 성능이 향상되는가?
• RQ3 프레임 수준의 예측을 곡 수준에서 다수결 투표 방식으로 집계할 경우 노이즈 감소와 정확도 향상에 어느 정도 기여하는가?
• RQ4 CRNN의 병목층에서 학습된 표현이 예술가별로 샘플을 효과적으로 분리할 수 있는가? 이는 효과적인 특징 학습을 의미하는가?
• RQ5 F1 스코어와 일반화 능력 측면에서, CRNN는 MFCCs와 프레임 수준 특징을 사용하는 기존 기준 모델보다 어떻게 비교되는가?

주요 결과

• 3초짜리 오디오 클립과 곡 수준 평가를 사용할 경우, 최고의 CRNN 모델은 3회의 독립적 시험에서 평균 F1 스코어 0.937을 기록한다.
• 오디오 클립 길이가 길어질수록 성능 향상이 이루어지지만, 일정 지점 이후에는 성능 향상 폭이 감소하여 시간적 맥락과 훈련 데이터셋 크기 사이의 상충 관계를 시사한다.
• 프레임 수준의 예측을 곡 수준에서 다수결 투표 방식으로 집계함으로써 성능 향상이 뚜렷하게 이루어지며, 이는 노이즈 감소에 효과적임을 확인한다.
• 병목층 특징의 t-SNE 시각화 결과, 개별 예술가에 해당하는 명확하고 분리된 군집이 관찰되어, 모델이 의미 있는 구분 가능한 표현을 효과적으로 학습할 수 있음을 보여준다.
• 비슷한 조건에서 비교 기준 모델보다 CRNN이 뛰어난 성능을 보이며, 특히 원시 스펙트로그램과 더 긴 클립을 사용할 경우 두드러진 성능 향상을 보인다.
• 이 연구는 분류 성능에 영향을 미치는 '프로듀서 효과'의 존재를 확인하였으며, 이는 제작 품질과 스타일의 변동이 모델의 일반화 능력에 영향을 준다는 것을 시사한다.