[논문 리뷰] Deep convolutional networks on the pitch spiral for musical instrument recognition

Vincent Lostanlen, Carmine-Emanuele Cella|arXiv (Cornell University)|2016. 05. 21.

Music and Audio Processing참고 문헌 13인용 수 33

한 줄 요약

이 논문은 음악 악기 식별을 위해 일정-Q 스펙트로그램에 시간, 주파수 및 음고 나선형(셰프드 음고) 컨볼루션을 포함한 세 가지 가중치 공유 전략을 활용하는 하이브리드 딥 컨volution 신경망을 제안한다. 이러한 전략들을 통합함으로써, 제한된 애너테이션 데이터 하에서 도전적인 데이터셋에서 최신 기술 수준의 정확도 74.0%를 달성하였으며, 희귀 악기 클래스에서 특히 높은 성능 향상을 보이며, 일반화 능력과 강인성을 향상시켰다.

ABSTRACT

Musical performance combines a wide range of pitches, nuances, and expressive techniques. Audio-based classification of musical instruments thus requires to build signal representations that are invariant to such transformations. This article investigates the construction of learned convolutional architectures for instrument recognition, given a limited amount of annotated training data. In this context, we benchmark three different weight sharing strategies for deep convolutional networks in the time-frequency domain: temporal kernels; time-frequency kernels; and a linear combination of time-frequency kernels which are one octave apart, akin to a Shepard pitch spiral. We provide an acoustical interpretation of these strategies within the source-filter framework of quasi-harmonic sounds with a fixed spectral envelope, which are archetypal of musical notes. The best classification accuracy is obtained by hybridizing all three convolutional layers into a single deep learning architecture.

연구 동기 및 목표

• 딥 러닝 아키텍처에 음고 분야의 전문 지식을 통합하여, 데이터가 적은 환경에서 음악 악기 식별 성능을 향상시키는 것.
• 음정 변동성 문제를 다루면서도 음색의 구분 능력을 유지하는 것.
• 컨볼루션 네트워크에서 다중 가중치 공유 전략을 하이브리드화함으로써 단일 전략 대비 성능 향상 여부를 조사하는 것.
• 셰프드 톤 환상에서 영감을 얻은 음고 나선형 컨볼루션을 통해 음성 불변성을 모델링할 수 있는지 평가하는 것.
• 네트워크 아키텍처에 구조적 인덕티브 바이어스를 도입하여 과적합을 줄이고, 특히 소수의 악기 클래스에 대해 일반화 능력을 향상시키는 것.

제안 방법

• 일정-Q 스펙트로그램에서 스펙트로템포럴 특징을 학습하기 위해 시간과 주파수 축에 걸쳐 공유 가중치를 적용한 2D 컨볼루션 레이어를 적용한다.
• 고주파 성분(>2 kHz)에 대해 1D 시간 컨볼루션을 도입하여 세밀한 시간 동적 특징을 포착한다.
• 저주파 범위(<2 kHz)에서 음고 나선형(셰프드 유사) 가중치 공유 전략을 구현하여 옥타브 등가 커널을 통해 음고 불변성을 모델링한다.
• 1D, 2D, 음고 나선형 컨볼루션 전략을 모두 통합하여 단일 하이브리드 아키텍처를 구성함으로써 다중 척도 및 음고 불변 특징을 동시에 학습한다.
• 컨볼루션 레이어 이후 시간 및 주파수 축에 대해 풀링을 수행하고, 분류를 위해 완전 연결 레이어를 사용한다.
• 개별 악기 스테임을 포함한 멀티트랙 데이터셋에서 교차 엔트로피 손실과 함께 확률적 경사 하강법을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 셰프드 음고 나선형을 가중치 공유 전략으로 통합함으로써 딥 컨볼루션 네트워크에서 음고 불변 표현을 효과적으로 학습할 수 있는가?
• RQ2 시간, 스펙트로템포럴, 음고 나선형 전략을 하이브리드로 조합할 경우, 개별 전략 대비 분류 정확도에 어떤 영향을 미치는가?
• RQ3 기존의 백오브프래즈 또는 표준 CNN 대비 제안된 아키텍처가 희귀 악기 클래스에 대해 더 잘 일반화되는가?
• RQ4 음고가 가장 두드러진 저주파 성분에서 음고 나선형 컨볼루션의 포함 여부가 성능 향상에 어느 정도 기여하는가?
• RQ5 데이터 부족 상황에서 파rameter 수가 적은 하이브리드 아키텍처가 더 깊거나 넓은 단일 아키텍처 모델을 능가할 수 있는가?

주요 결과

• 1D, 2D, 음고 나선형 컨볼루션을 조합한 하이브리드 아키텍처가 최고의 테스트 정확도 74.0%를 기록하여 개별 전략보다 뚜렷하게 뛰어난 성능을 보였다.
• 2D 컨볼루션 레이어만 사용했을 경우 정확도는 69.1%였고, 세 전략을 모두 통합한 하이브리드 모델은 74.0%를 기록하여 절대적 향상 폭 4.9%를 기록했다.
• 음고 나선형 전략은 바이올린(70.9%) 및 플루트(88.0%)와 같이 저주파에서 음고가 주요 특징인 악기에서 성능 향상을 보였으며, 특히 희귀 클래스에서 두드러진 효과를 보였다.
• 하이브리드 모델은 클래스 간 성능 변동성을 줄여, 백오브프래즈 기준(61.4%) 및 랜덤 포레스트(61.8%) 대비 소수의 악기 클래스에 대해 더 우수한 일반화 능력을 보였다.
• 2D 네트워크의 커널 수를 48개로 늘려도(158k 파rameter) 하이브리드 모델(147k 파rameter)의 성능을 따라잡지 못했으며, 이는 성능 향상이 파rameter 수 증가 때문이라는 가설을 반박했다.
• 최고의 성능을 보인 모델은 희귀도가 가장 높은 클래스인 소프라노 보이스에서 2D 전용 기준 대비 10.5%의 정확도 향상을 기록하여, 다중 전략 인덕티브 바이어스의 유용성을 입증했다.