[논문 리뷰] Graph Representation learning for Audio & Music genre Classification.

Shubham Dokania, Vasudev Singh|arXiv (Cornell University)|2019. 10. 23.

Music and Audio Processing참고 문헌 33인용 수 6

한 줄 요약

이 논문은 음악 장르 분류를 위한 새로운 그래프 신경망(GNN) 프레임워크인 GrahAM을 제안한다. GrahAM은 시아모이즈 네트워크와 그래프 표현 학습을 결합하여, 스펙트로그램을 노드로 모델링하고, 시아모이즈 유사도를 통해 간선 가중치를 학습한다. 이로 인해 GTZAN에서 99.5%의 최고 성능을 기록하였으며, 불균형한 AudioSet 데이터셋에서는 91.3%의 정확도를 달성하여, 향상된 특징 표현과 관계적 인덕티브 바이어스를 통해 기존 방법들을 능가한다.

ABSTRACT

Music genre is arguably one of the most important and discriminative information for music and audio content. Visual representation based approaches have been explored on spectrograms for music genre classification. However, lack of quality data and augmentation techniques makes it difficult to employ deep learning techniques successfully. We discuss the application of graph neural networks on such task due to their strong inductive bias, and show that combination of CNN and GNN is able to achieve state-of-the-art results on GTZAN, and AudioSet (Imbalanced Music) datasets. We also discuss the role of Siamese Neural Networks as an analogous to GNN for learning edge similarity weights. Furthermore, we also perform visual analysis to understand the field-of-view of our model into the spectrogram based on genre labels.

연구 동기 및 목표

• 음악 장르 분류에서 제한적이고 불균형한 음성 데이터의 과제를 해결하기 위해.
• 음성 세그먼트 간의 미세한 유사성을 캡처함으로써 스펙트로그램 내 특징 표현을 향상시키기 위해.
• 국소적 공간 패턴을 초월하여 음성 샘플 간의 관계적 구조를 모델링하기 위해 그래프 신경망을 활용하기 위해.
• 이미지 기반 데이터 증강에 의존하지 않고도 표현 능력을 극대화하는 데이터 효율적인 방법을 개발하기 위해.

제안 방법

• 동일한 가중치를 공유하는 시아모이즈 신경망을 사용하여 MEL 스펙트로그램에서 강력하고 구분 가능한 임bedding을 학습함으로써, 음성 쌍 간의 비교를 가능하게 한다.
• 그래프의 간선 가중치는 시아모이즈 유사도 함수 sij = Λ(φ(xi), φ(xj))를 통해 학습되며, 여기서 φ는 특징 추출기(XceptionNet)이고, Λ는 최상위 결합 레이어이다.
• 그래프 컨볼루션 레이어는 메시지 전달 방식을 사용하여 노드 및 간선 특징을 처리한다: h_i^{(l+1)} = σ(∑_{j∈N(i)} W_l * h_j^{(l)} + b_l), 특징은 거리 및 내적 연산의 결과로 연결된다.
• 모델은 각 스펙트로그램 세그먼트를 노드로 간주하고 학습된 임베딩을 갖는다. 이를 통해 노드 수준의 분류를 수행하는 그래프 신경망(GNN)을 사용한다.
• 균형 잡힌 학습을 확보하기 위해, 유사한 쌍과 비유사한 쌍의 비율이 1:1이 되도록 전체 조합에서 일부 양의 양성 및 음성 쌍을 샘플링한다.
• 시각적 해석 가능성은 Grad-CAM을 사용하여 향상되며, 이는 장르 예측에 중요한 주파수-시간 영역을 강조하는 히트맵을 생성한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 음성 스펙트로그램 내 관계적 구조를 효과적으로 모델링하여 장르 분류 성능을 향상시킬 수 있는가?
• RQ2 시아모이즈 네트워크와 GNN을 결합함으로써, 단독으로 사용되는 CNN이나 전통적 분류기보다 특징 표현이 어떻게 향상되는가?
• RQ3 장르 경계가 모호한 경우와 같이, AudioSet과 같은 불균형적이고 복잡한 음성 데이터셋에 대해 GNN은 어느 정도 일반화 가능한가?
• RQ4 스펙트로그램의 어떤 영역이 장르 분류에 가장 예측 가능하며, 인간의 인지와 어떻게 일치하는가?

주요 결과

• GrahAM은 GTZAN 데이터셋에서 99.5%의 최고 성능을 기록하였으며, 방송 메커니즘(93.9%)과 다중-DNN(93.4%)과 같은 기존 방법들을 크게 능가한다.
• 불균형한 AudioSet 데이터셋에서, 클래스당 100개의 레이블이 있는 조건에서 GrahAM은 91.3%의 정확도를 달성하였으며, 랜덤 포레스트(86.0%)와 2층 신경망(87.0%)을 모두 초월한다.
• t-SNE 시각화 결과, GrahAM이 학습한 특징들은 단독으로 사용된 시아모이즈 네트워크보다 더 단단하고 분리 가능한 클러스터를 형성함을 보여주며, 향상된 표현 학습 능력을 시사한다.
• Grad-CAM 히트맵은 고유한 주파수-시간 영역의 무늬를 장르 분류에 중요한 요소로 일관되게 강조하며, 고립된 주파수 대역보다 더 중요하다.
• 모델은 작은 레이블 분할(예: 클래스당 30, 50, 100개 샘플)에서도 높은 성능을 유지하여 강력한 데이터 효율성을 입증한다.
• 스펙트로그램 픽셀의 의미적 민감성으로 인해 이미지 기반 데이터 증강을 회피함으로써, 음성 전용 정보 무결성을 유지한다.