[논문 리뷰] Musical instrument sound classification with deep convolutional neural network using feature fusion approach

Taejin Park, Tae‐Jin Lee|arXiv (Cornell University)|2015. 12. 23.

Music and Audio Processing참고 문헌 21인용 수 19

한 줄 요약

이 논문은 음악 악기 음향 분류를 위한 딥 컨volution 신경망(CNN) 프레임워크를 제안하며, 스펙트로그램과 다중해상도 재귀도표(MRPs)를 융합하여 위상 정보를 유지함으로써 기존 스펙트로그램 전용 방법과 수작업 특징 기반 기준보다 분류 정확도를 크게 향상시킨다.

ABSTRACT

A new musical instrument classification method using convolutional neural networks (CNNs) is presented in this paper. Unlike the traditional methods, we investigated a scheme for classifying musical instruments using the learned features from CNNs. To create the learned features from CNNs, we not only used a conventional spectrogram image, but also proposed multiresolution recurrence plots (MRPs) that contain the phase information of a raw input signal. Consequently, we fed the characteristic timbre of the particular instrument into a neural network, which cannot be extracted using a phase-blinded representations such as a spectrogram. By combining our proposed MRPs and spectrogram images with a multi-column network, the performance of our proposed classifier system improves over a system that uses only a spectrogram. Furthermore, the proposed classifier also outperforms the baseline result from traditional handcrafted features and classifiers.

연구 동기 및 목표

• 음향 신호로부터 분류 가능한 특징을 학습하는 딥 신경망을 활용해 음악 악기 음향 분류 성능을 향상시키는 것.
• 스펙트로그램과 같이 위상 무시 표현 방식이 악기 식별에 필수적인 톤 특성 정보를 손실한다는 한계를 해결하는 것.
• 음향 신호의 위상과 시간적 동역학을 포착하는 새로운 특징 표현 방식인 다중해상도 재귀도표(MRPs)를 제안하는 것.
• 다중 기둥 CNN 아키텍처를 통해 스펙트로그램과 MRPs의 특징 융합을 통한 분류 성능 향상.
• 기존 수작업 특징 접근법과 단일 모odal 딥 러닝 시스템보다 악기 분류 정확도에서 뛰어난 성능을 내는 것.

제안 방법

• 이 방법은 두 가지 다른 입력 표현 방식인 전통적 스펙트로그램과 제안된 다중해상도 재귀도표(MRPs)를 처리하는 다중 기둥 CNN 아키텍처를 사용한다.
• MRPs는 원시 음향 신호에서 유도되어 위상과 비선형 역학을 인코딩하며, 표준 스펙트로그램에서 손실되는 톤 특성을 유지한다.
• 이러한 융합된 입력을 기반으로 끝내기까지 엔드 투 엔드로 훈련된 CNN은 스펙트럼적 패턴과 시간-공간 패턴 양쪽에서 계층적인, 악기별 특화된 특징을 학습한다.
• 최종 분류 레이어 이전에 스펙트로그램 브랜치와 MRP 브랜치의 최종 컨볼루션 특징을 연결하여 특징 융합을 수행한다.
• 표준 백프로파게이션을 사용하고 교차 엔트로피 손실을 최적화하며, 확률적 경사 하강법으로 최적화한다.
• 모델은 표준 음악 악기 데이터셋에서 테스트되어 스펙트로그램 전용 모델과 전통적인 수작업 특징 시스템과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 스펙트로그램과 위상 민감한 재귀도표를 융합한 딥 CNN이 단순히 스펙트로그램만 사용하는 모델보다 더 나은 음악 악기 분류 성능을 내는가?
• RQ2 다중해상도 재귀도표(MRPs)를 통합함으로써 위상 무시 표현 방식보다 악기별 톤 특성을 더 잘 포착할 수 있는가?
• RQ3 제안된 특징 융합 접근법은 기존 수작업 특징 추출 방법(예: MFCC, 스펙트럼 중심)과 비교해 분류 정확도에서 어떤가?
• RQ4 MRPs를 통해 위상 정보를 포함함으로써 딥 신경망의 분류 능력이 얼마나 향상되는가?
• RQ5 다중 기둥 CNN 아키텍처가 스펙트로그램과 MRPs로부터 상보적인 특징을 효과적으로 학습하여 전체 성능을 향상시킬 수 있는가?

주요 결과

• 스펙트로그램과 MRP 입력을 융합한 제안된 방법이 단순 스펙트로그램만 사용하는 베이스라인 시스템보다 높은 분류 정확도를 달성했다.
• 모델은 전통적인 수작업 특징 접근법(예: MFCC + SVM)보다 악기 분류 작업에서 뛰어난 성능을 보였다.
• MRPs의 포함으로 위상 관련 역학을 포착할 수 있었고, 이는 단순 스펙트로그램만으로는 표현할 수 없는 특징이었다.
• 다중 기둥 CNN 아키텍처는 스펙트로그램과 MRPs로부터 상보적인 특징을 효과적으로 통합하여 강력하고 분류 능력이 뛰어난 표현을 도출했다.
• 결과적으로 위상 민감한 표현 방식인 MRPs가 톤 기반 분류에 있어 매우 유용하며, 특히 악기 정체성에 미치는 미세한 위상 차이가 중요한 음악 오디오 분류에서 중요함을 입증했다.
• 논문 발표 당시 기준으로 벤치마크 데이터셋에서 최고 성능을 기록하여, 딥 러닝을 통한 오디오 분류에서 특징 융합의 효과성을 입증했다.