[논문 리뷰] Music Genre Classification with ResNet and Bi-GRU Using Visual Spectrograms

Junfei Zhang|arXiv (Cornell University)|2023. 07. 20.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 시각적 스펙트로그램을 입력으로 사용하여 음악 장르를 분류하기 위해 ResNet과 양방향 GRU(Bi-GRU)를 조합한 하이브리드 딥러닝 모델을 제안한다. 모델은 멜 스펙트로그램을 사용할 때 81%의 정확도를 기록하며, 전통적인 기계학습 방법들을 능가하며, 음성 표현에서 공간적(ResNet을 통해) 및 시간적(Bi-GRU를 통해) 특징을 모두 활용하는 것이 효과적임을 보여준다. 멜 스펙트로그램은 인간 청각 인지와의 일치성 덕분에 뛰어난 성능을 보였다.

ABSTRACT

Music recommendation systems have emerged as a vital component to enhance user experience and satisfaction for the music streaming services, which dominates music consumption. The key challenge in improving these recommender systems lies in comprehending the complexity of music data, specifically for the underpinning music genre classification. The limitations of manual genre classification have highlighted the need for a more advanced system, namely the Automatic Music Genre Classification (AMGC) system. While traditional machine learning techniques have shown potential in genre classification, they heavily rely on manually engineered features and feature selection, failing to capture the full complexity of music data. On the other hand, deep learning classification architectures like the traditional Convolutional Neural Networks (CNN) are effective in capturing the spatial hierarchies but struggle to capture the temporal dynamics inherent in music data. To address these challenges, this study proposes a novel approach using visual spectrograms as input, and propose a hybrid model that combines the strength of the Residual neural Network (ResNet) and the Gated Recurrent Unit (GRU). This model is designed to provide a more comprehensive analysis of music data, offering the potential to improve the music recommender systems through achieving a more comprehensive analysis of music data and hence potentially more accurate genre classification.

연구 동기 및 목표

• 대규모 음악 스트리밍 플랫폼에서 수작업으로 이루어지는 음악 장르 분류의 한계를 해결하기 위해.
• 수작업으로 추출한 특징에 의존하고 복잡한 음성 패턴을 포착하지 못하는 전통적인 기계학습 모델의 단점을 극복하기 위해.
• 딥러닝을 활용해 자동으로 정확하고 견고한 음악 장르 분류 시스템을 개발함으로써 음악 추천 시스템을 향상시키기 위해.
• 딥러닝 기반의 장르 분류에 있어 시각적 스펙트로그램—특히 멜 스펙트로그램과 STFT—을 입력 표현으로 사용할 경우의 효과를 조사하기 위해.
• CNN과 RNN을 조합한 하이브리드 아키텍처가 음성 데이터의 공간적 및 시간적 특징을 모델링하는 데 얼마나 효과적인지 탐색하기 위해.

제안 방법

• 모델은 시각적 멜 스펙트로그램을 입력으로 사용하여, 음성 신호를 컨볼루션 신경망에 적합한 이미지 유사 표현으로 변환한다.
• 계층적 공간적 특징을 추출하기 위해 ResNet18 백본을 활용하며, 잔차 연결을 통해 기울기 소실 문제를 완화한다.
• ResNet에서 생성된 출력 특징 맵을 평탄화하여 양방향 게이트드 순환 단위(Bi-GRU)에 입력함으로써 스펙트로그램 데이터의 순차적 시간 동적 특성을 모델링한다.
• 이 하이브리드 아키텍처는 주파수 성분, 조화 구조와 같은 공간적 패턴과 리듬 변화, 시간에 따른 변화 추세와 같은 시간적 변화를 함께 학습할 수 있도록 한다.
• 모델은 Adam 최적화를 사용한 교차 엔트로피 손실 함수로 훈련되며, 시간 이동 및 테너 처럼 음정 스케일링 등의 데이터 증강 기법을 적용하여 견고성을 향상시킨다.
• 이미지넷 사전 훈련된 ResNet18을 사용함으로써 암묵적으로 전이 학습을 활용하여 음성 스펙트로그램 입력에 대한 특징 학습 능력을 향상시킨다.

Figure 1 : Raw audio waveform for jazz class

실험 결과

연구 질문

• RQ1 ResNet과 Bi-GRU를 조합한 하이브리드 딥러닝 모델이 시각적 스펙트로그램을 사용하여 음악 장르를 효과적으로 분류할 수 있는가?
• RQ2 스펙트로그램 입력을 사용할 때 제안된 모델의 성능이 KNN 및 SVM과 같은 전통적인 기계학습 모델보다 어떻게 비교되는가?
• RQ3 스펙트로그램 표현 방식—멜 스펙트로그램 대비 STFT—의 선택이 딥러닝 모델의 분류 정확도에 상당한 영향을 미치는가?
• RQ4 특히 멜 스펙트로그램을 포함한 시각적 스펙트로그램이 인간 청각 인지와 얼마나 잘 일치하며, 모델 성능 향상에 기여하는가?
• RQ5 제안된 모델는 인간 수준의 장르 분류 정확도와 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 ResNet-Bi-GRU 하이브리드 모델은 멜 스펙트로그램을 입력으로 사용할 때 음악 장르 분류 정확도가 81%에 도달하였으며, KNN 및 SVM과 같은 전통적인 기계학습 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 모델의 성능는 인간 수준의 장르 분류 정확도 기준 70%를 초월하여, 음악 추천 시스템에 실질적인 구현 가능성을 보여주었다.
• 모든 테스트된 딥러닝 아키텍처—CNN, Bi-GRU, ResNet18, 하이브리드 ResNet-Bi-GRU—에서 멜 스펙트로그램이 STFT 스펙트로그램보다 일관되게 뛰어난 성능을 보였다.
• 단독으로 사용된 ResNet18 또는 Bi-GRU보다 하이브리드 아키텍처가 뛰어난 성능을 보이며, 공간적 및 시간적 모델링의 상호보완적 이점을 입증했다.
• 결과적으로, 특히 멜 스케일 스펙트로그램은 인간 청각 인지와의 관련성이 높아 딥러닝을 통한 음악 장르 분류에 매우 효과적인 입력으로 기능함을 시사한다.
• 사전 훈련된 ResNet을 스펙트로그램 입력에 적응시켜 이미지 분류에서 음성 분석으로의 전이 학습 가능성을 성공적으로 확인하였다.

Figure 2 : STFT Spectrogram for jazz class