[논문 리뷰] SubSpectralNet - Using Sub-Spectrogram based Convolutional Neural Networks for Acoustic Scene Classification

Sai Samarth R Phaye, Emmanouil Benetos외 1명|arXiv (Cornell University)|2018. 10. 30.

Music and Audio Processing참고 문헌 21인용 수 10

한 줄 요약

SubSpectralNet은 음향 환경 분류를 위한 특징 학습을 향상시키기 위해 주파수 대역에 걸쳐 자르기된 멜스펙트로그램의 부분 영역인 서브스펙트로그램을 처리하는 새로운 CNN 아키텍처를 제안한다. 주파수 대역 별로 특징을 학습하고 별도의 서브분류기로 처리한 후 전역적으로 융합함으로써, DCASE 2018 기준선 대비 14%의 정확도 향상을 달성하였다. 이는 주파수 대역에 특화된 분류 정보가 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

Acoustic Scene Classification (ASC) is one of the core research problems in the field of Computational Sound Scene Analysis. In this work, we present SubSpectralNet, a novel model which captures discriminative features by incorporating frequency band-level differences to model soundscapes. Using mel-spectrograms, we propose the idea of using band-wise crops of the input time-frequency representations and train a convolutional neural network (CNN) on the same. We also propose a modification in the training method for more efficient learning of the CNN models. We first give a motivation for using sub-spectrograms by giving intuitive and statistical analyses and finally we develop a sub-spectrogram based CNN architecture for ASC. The system is evaluated on the public ASC development dataset provided for the "Detection and Classification of Acoustic Scenes and Events" (DCASE) 2018 Challenge. Our best model achieves an improvement of +14% in terms of classification accuracy with respect to the DCASE 2018 baseline system. Code and figures are available at https://github.com/ssrp/SubSpectralNet

연구 동기 및 목표

• 스펙트로그램 내 주파수 대역 별로 특징이 음향 환경 분류에 대해 분류 가능 정보를 지니는지 조사하기.
• 서브스펙트로그램을 명시적으로 모델링하여 특징 표현을 향상시키는 CNN 아키텍처 개발하기.
• 전역적인 스펙트로그램 처리 방식과 비교해 지역화된 주파수 대역에서의 학습이 분류 정확도 향상에 기여하는지 입증하기.
• DCASE 2018 ASC 개발 데이터셋을 바탕으로 기준선 모델과의 정량적 비교를 통해 방법의 타당성 검증하기.

제안 방법

• 입력으로 로그 멜스펙트로그램을 사용하며, 사용자가 정의한 주파수 대역 크기와 홉 사이즈에 따라 입력을 서브스펙트로그램으로 분할하는 새로운 합성곱 레이어를 도입한다.
• 각 서브스펙트로그램은 별도의 서브분류기(작은 CNN)를 통해 처리되어 주파수 대역 별로 국소화된 특징 학습이 가능하다.
• 모든 서브분류기의 출력을 연결하여 전역 분류기로 전달해 최종 환경 예측을 수행한다.
• 서브분류기의 기울기가 독립적으로 역전파되도록 수정된 학습 전략을 적용하여 각 주파수 대역 별로 특징의 분류 능력을 향상시킨다.
• 학습 시 스테레오 입력을 사용하며, 첫 번째 합성곱 레이어에서 7×7 커널 크기를 선택함. 이는 커널 크기의 아블레이션 분석을 통해 결정되었다.
• 서브스펙트로그램 크기 및 멜빈 홉 사이즈와 같은 하이퍼파라미터는 성능 최적화를 위해 경험적으로 조정된다.

실험 결과

연구 질문

• RQ1 멜스펙트로그램의 특정 주파수 대역이 다른 대역보다 일부 음향 환경에 대해 더 많은 분류 가능 정보를 지니는가?
• RQ2 전체 스펙트로그램에 대한 단일 전역 CNN 대비, 서브스펙트로그램(주파수 대역의 부분 영역)에 대해 별도의 CNN을 훈련시키는 것이 더 나은 특징 학습을 이끌 수 있는가?
• RQ3 SubSpectralNet의 성능은 DCASE 2018 기준선 시스템과 비교해 정확도와 수렴 속도 측면에서 어떻게 다른가?
• RQ4 서브분류기 학습이 전체 모델 성능에 어떤 영향을 미치며, 이는 결과에 상당한 향상을 가져오는가?
• RQ5 SubSpectralNet은 더 많은 파rameter를 가진 기준선 모델보다 적은 파라미터로도 뛰어난 정확도를 달성할 수 있는가?

주요 결과

• SubSpectralNet은 200개의 멜빈을 사용하여 DCASE 2018 개발 데이터셋에서 테스트 정확도 74.08%를 달성했으며, 이는 DCASE 2018 기준선 대비 +14% 향상된 성능이다.
• 40개의 멜빈과 20의 서브스펙트로그램 크기를 사용한 모델은 72.18%의 정확도를 기록했으며, 434K 파라미터를 가진 더 큰 기준선 모델보다 뛰어난 성능을 보였다.
• 서브분류기의 역전파를 제거한 경우 정확도가 68.79%로 떨어졌으며, 이는 주파수 대역 별로 특징 학습이 중요함을 확인한다.
• 학습 과정에서 SubSpectralNet 모델는 DCASE 2018 기준선 모델보다 더 빠르게 수렴하고 더 높은 테스트 정확도에 도달했다.
• 200개의 멜빈과 최적의 서브스펙트로그램 크기(30) 및 홉 사이즈(10)를 사용한 경우 최고의 성능를 기록했으며, 이는 주파수 대역 인식 특징 학습의 효과를 입증한다.
• 331K 파라미터를 가진 모델는 434K 파라미터를 가진 더 큰 기준선 모델보다 뛰어난 성능를 보였으며, 이는 아키텍처 설계가 파라미터 수보다 더 중요한 영향을 미친다는 것을 시사한다.