[논문 리뷰] Convolutional Neural Network Achieves Human-level Accuracy in Music Genre Classification

Mingwen Dong|arXiv (Cornell University)|2018. 02. 27.

Music and Audio Processing인용 수 9

한 줄 요약

이 논문은 인간 수준의 70% 정확도를 달성하는 컨볼루션 신경망(CNN)을 제안한다. 이는 3초 분량의 멜스펙트로그램 세그먼트를 처리함으로써 이루어지며, 청각 시스템에 영감을 받은 특징을 활용한다. 방법은 음악을 겹치는 세그먼트로 나누고, STRF 유사 필터를 갖춘 CNN을 적용한 후 예측을 집계한다. 이는 이전의 방법들을 능가하며 인간의 인지 메커니즘을 모방한다.

ABSTRACT

Music genre classification is one example of content-based analysis of music signals. Traditionally, human-engineered features were used to automatize this task and 61% accuracy has been achieved in the 10-genre classification. However, it's still below the 70% accuracy that humans could achieve in the same task. Here, we propose a new method that combines knowledge of human perception study in music genre classification and the neurophysiology of the auditory system. The method works by training a simple convolutional neural network (CNN) to classify a short segment of the music signal. Then, the genre of a music is determined by splitting it into short segments and then combining CNN's predictions from all short segments. After training, this method achieves human-level (70%) accuracy and the filters learned in the CNN resemble the spectrotemporal receptive field (STRF) in the auditory system.

연구 동기 및 목표

• 딥 러닝을 활용해 음악 장르 분류에서 인간 수준의 정확도를 달성하기 위해.
• 인간의 청각 인지 및 신경생리학적 통찰을 딥 러닝 모델과 연결하기 위해.
• 수작업 특징 없이 원시 음성 신호를 사용하여 확장 가능하고 효율적인 음악 장르 분류 방법을 개발하기 위해.
• CNN 필터가 인간 청각 시스템에 관찰된 스펙트로-타임리얼 수용장역(STRF)과 유사한 특징을 학습하는지 조사하기 위해.
• 기존의 엔지니어링 특징이나 짧은 세그먼트를 사용한 최신 기술들을 뛰어넘는 분류 성능 향상을 위해.

제안 방법

• 신호를 처리하기 위해 파형을 23ms 히트닝 윈도우를 사용한 멜스펙트로그램으로 변환하며, 50% 겹침을 적용한다.
• 다이나믹 레인지 정규화와 인간 청각 인지에 더 잘 부합하기 위해 멜스펙트로그램을 로그 변환한다.
• 2차원 CNN을 사용하며, 두 개의 컨볼루션 레이어(3×3 및 3×5 필터), 2×4 최대 풀링, ReLU 활성화 함수를 통해 계층적 특징을 추출한다.
• 완전 연결 레이어(32 및 10 뉴런), 소프트맥스 출력, L2 정규화 및 드롭아웃을 사용하여 과적합을 방지한다.
• 학습은 3초 세그먼트를 훈련 트랙에서 샘플링하여 수행되며, 원본 음악의 레이블을 사용한다.
• 전체 트랙의 장르 예측은 모든 겹치는 3초 세그먼트에 대한 예측 확률을 평균화하여 수행된다.

실험 결과

연구 질문

• RQ1 짧은 음성 세그먼트로 훈련된 CNN이 10개 장르 음악 분류에서 인간 수준의 성능을 달성할 수 있는가?
• RQ2 CNN이 학습한 필터가 인간 청각 시스템에서 관찰된 스펙트로-타임리얼 수용장역(STRF)과 유사한가?
• RQ3 CNN이 학습한 표현 방식이 원시 멜스펙트로그램 공간보다 장르 분류에 더 선형적으로 분리 가능한가?
• RQ4 전반적으로 인간 수준의 성능를 달성했음에도 불구하고, 컨트리와 록 장르의 분류 정확도가 낮은 이유는 무엇인가?
• RQ5 세그먼트 기반 처리를 통한 분할-정복 접근 방식이 전체 음악 신호의 고차원성을 극복하는 데 효과적인가?

주요 결과

• 제안된 CNN은 10개 장르 분류 작업에서 70%의 정확도를 달성하여, 3초 강제 선택 과제에서 인간 성능과 동일한 수준을 보였다.
• 이전의 방법들(예: PCA-백색화된 스펙트로그램을 사용한 5개 장르 작업에서 70% 정확도 달성)을 능가하며, 더 많은 장르(10개)를 더 높은 정확도로 분류했다.
• CNN의 컨볼루션 레이어가 학습한 필터는 생리학적 연구에서 관찰된 STRF와 시각적으로 유사하여 생물학적 타당성을 시사한다.
• CNN의 최종 은닉층에 의해 변환된 테스트 데이터 포인트는 원시 멜스펙트로그램 공간에 비해 LDA 투영을 통해 유의미하게 더 선형적으로 분리됨을 보였다.
• 컨트리와 록 장르는 평균 이하의 정확도를 보였는데, 이는 3초 세그먼트에 포착되지 않는 장기적인 리듬적 또는 비트 특징에 의존하기 때문일 수 있다.
• 멜스펙트로그램 표현과 세그먼트 기반 처리를 통해 인간이 인지하는 데 중요한 특징을 유지하면서도 차원을 효과적으로 감소시켰다.