[논문 리뷰] A Comparison of deep learning methods for environmental sound

Juncheng Li, Wei Dai외 3명|arXiv (Cornell University)|2017. 03. 20.

Music and Audio Processing참고 문헌 14인용 수 12

한 줄 요약

이 논문은 DCASE 2016 데이터셋을 사용하여 환경 음향 분류 작업에서 딥 러닝 모델—DNN, RNN, CNN, GMM, i-vector—을 비교한다. MFCC, 로그 멜스펙트럼, OpenSMILE 기능을 포함한 여섯 가지 기능 세트를 평가하며, 모델의 후기 융합은 테스트 정확도를 88.2%로 끌어올려 DCASE 2016에서 기록된 최고 성능과 동일하게 만들었다. 비시계열적 DNN 모델이 RNN 및 CNN보다 뛰어나, 환경 음향에 강한 시계열 동역학이 없음을 시사한다.

ABSTRACT

Environmental sound detection is a challenging application of machine learning because of the noisy nature of the signal, and the small amount of (labeled) data that is typically available. This work thus presents a comparison of several state-of-the-art Deep Learning models on the IEEE challenge on Detection and Classification of Acoustic Scenes and Events (DCASE) 2016 challenge task and data, classifying sounds into one of fifteen common indoor and outdoor acoustic scenes, such as bus, cafe, car, city center, forest path, library, train, etc. In total, 13 hours of stereo audio recordings are available, making this one of the largest datasets available. We perform experiments on six sets of features, including standard Mel-frequency cepstral coefficients (MFCC), Binaural MFCC, log Mel-spectrum and two different large- scale temporal pooling features extracted using OpenSMILE. On these features, we apply five models: Gaussian Mixture Model (GMM), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Convolutional Deep Neural Net- work (CNN) and i-vector. Using the late-fusion approach, we improve the performance of the baseline 72.5% by 15.6% in 4-fold Cross Validation (CV) avg. accuracy and 11% in test accuracy, which matches the best result of the DCASE 2016 challenge. With large feature sets, deep neural network models out- perform traditional methods and achieve the best performance among all the studied methods. Consistent with other work, the best performing single model is the non-temporal DNN model, which we take as evidence that sounds in the DCASE challenge do not exhibit strong temporal dynamics.

연구 동기 및 목표

• 대규모 실세계 데이터셋을 사용하여 최신 딥 러닝 모델의 환경 음향 분류 성능을 평가하고 비교하는 것.
• MFCC, 로그 멜스펙트럼, OpenSMILE 등의 다양한 기능 표현 방식이 모델 성능에 미치는 영향을 조사하는 것.
• 환경 음향 인식에 있어 RNN, CNN를 통한 시계열 모델링이 필수적인지 여부를 규명하는 것.
• 다양한 모델과 기능을 융합하는 후기 융합 기법이 정확도 향상에 얼마나 효과적인지 평가하는 것.
• 모델 성능을 바탕으로 환경 음향이 강한 시계열 동역학을 보이는지 이해하는 것.

제안 방법

• 연구는 DCASE 2016 데이터셋을 사용하며, 15개의 음향 환경에 걸쳐 총 13시간의 스테레오 오디오로 구성되어 있으며, 학습용으로 9.75시간, 테스트용으로 3.25시간이 할당된다.
• 여섯 가지 기능 세트를 추출한다: 단일 및 이원적 MFCC(61차원), 로그 멜스펙트럼(60차원 및 200차원), OpenSMILE 983차원 및 6,000차원 기능, 그리고 표준 스펙트로그램 기반 기능.
• 다섯 가지 모델을 학습한다: GMM(기준 모델), i-vector 파이프라인, DNN(완전 연결), RNN(양방향 GRU), CNN(2차원 컨볼루션 레이어)를 기능 세트에 기반하여 학습한다.
• 후기 융합은 각 모델을 서로 다른 기능 세트에 대해 별도로 학습한 후, 예측 결과를 평균 내어 최종 분류를 수행하는 방식으로 적용된다.
• 모든 기능은 학습 세트에서 표준화(평균 0, 분산 1) 처리되며, 추론 시에도 동일하게 적용된다.
• 모델의 초모수는 4겹 교차검증을 통해 최적화되며, 성능 평가는 보류된 테스트 세트에서 수행된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 환경 음향 분류에서 GMM 및 i-vector와 같은 전통적 모델보다 우수한가?
• RQ2 다양한 기능 표현 방식(예: MFCC 대비 OpenSMILE)이 다양한 아키텍처에서 모델 성능에 미치는 영향은 어떠한가?
• RQ3 정확한 환경 음향 인식을 위해 RNN 또는 CNN를 통한 시계열 모델링이 필수적인가?
• RQ4 다양한 모델과 기능을 융합하는 후기 융합 기법이 분류 정확도를 상당히 향상시키는가?
• RQ5 모델 성능의 차이를 바탕으로 환경 음향이 강한 시계열 동역학을 보이는가?

주요 결과

• 기준 GMM 모델이 MFCC 기능을 사용할 경우 77.2%의 테스트 정확도를 기록하며 강력한 기준점이 된다.
• 모델의 후기 융합은 테스트 정확도를 88.2%로 향상시켜 DCASE 2016 챌린지에서 기록된 최고 성능과 동일하게 만들었다.
• 비시계열적 DNN 모델이 모든 단일 모델 중에서 가장 높은 성능을 보이며, 환경 음향에 강한 시계열 동역학이 없음을 시사한다.
• RNN 및 CNN는 중간 수준의 성능(73~82% 테스트 정확도)을 보이며, 특히 기차나 트램과 같은 단조로운 환경에서 RNN이 뛰어난 성능을 보인다.
• i-vector 파이프라인은 저차원 기능(예: BiMFCC)에서는 딥 러닝 모델을 능가하지만, 고차원 기능(예: OpenSMILE 6k)에서는 DNN가 우세하다.
• 기능의 차원 수가 모델 선택에 큰 영향을 미치며, 고차원 기능은 DNN를 선호하고, 저차원 기능은 i-vector를 선호한다.