[논문 리뷰] Learning Environmental Sounds with Multi-scale Convolutional Neural Network

Boqing Zhu, Changjian Wang외 4명|arXiv (Cornell University)|2018. 03. 25.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 다중 시간 척도에서 필터를 학습함으로써 원시 파형 기반 음성 표현을 향상시키고 주파수 해상도를 높이며 구분 능력 있는 특징 추출을 개선하는 다중 척도 합성곱 신경망인 WaveMsNet을 제안한다. 또한 단일 엔드 투 엔드 모델 내에서 원시 파형과 로그-멜 스펙트로그램 특징을 원활하게 융합하기 위한 이중 단계 특징 융합 방법을 도입하여 ESC-10에서 93.75% 및 ESC-50에서 79.10%의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Deep learning has dramatically improved the performance of sounds recognition. However, learning acoustic models directly from the raw waveform is still challenging. Current waveform-based models generally use time-domain convolutional layers to extract features. The features extracted by single size filters are insufficient for building discriminative representation of audios. In this paper, we propose multi-scale convolution operation, which can get better audio representation by improving the frequency resolution and learning filters cross all frequency area. For leveraging the waveform-based features and spectrogram-based features in a single model, we introduce two-phase method to fuse the different features. Finally, we propose a novel end-to-end network called WaveMsNet based on the multi-scale convolution operation and two-phase method. On the environmental sounds classification datasets ESC-10 and ESC-50, the classification accuracies of our WaveMsNet achieve 93.75% and 79.10% respectively, which improve significantly from the previous methods.

연구 동기 및 목표

• 원시 파형에서 구분 능력 있는 음성 특징을 캐치하는 데 있어 단일 척도 필터의 한계를 해결하되, 주파수 해상도와 고주파 수용 범위 사이의 상충 관계를 해결한다.
• 기존 방법에서 별도의 모델을 학습한 후 예측을 평균 내는 방식으로 특징 융합이 비최적화되어 있음을 해결하고, 공동 학습을 통한 파형과 스펙트로그램 특징의 융합을 개선한다.
• 원시 파형과 로그-멜 스펙트로그램에서 상보적인 표현을 엔드 투 엔드 방식으로 학습할 수 있는 통합된 딥 러닝 프레임워크를 개발한다.
• 다중 척도 시간 합성곱과 적응형 특징 융합을 활용하여 기존의 파형 전용 모델을 초월하는 환경 음향 분류 성능을 향상시킨다.

제안 방법

• 다양한 크기와 스트라이드를 가진 필터를 사용하는 다중 척도 합성곱 연산을 제안하여 원시 파형에서 여러 시간 척도에 걸친 특징을 추출함으로써 주파수 해상도를 향상시키고 전체 스펙트럼에 걸쳐 커버리지 범위를 넓힌다.
• 이중 단계 학습 전략을 설계: 첫 번째 단계에서는 원시 파형만으로 네트워크를 사전 학습하고, 두 번째 단계에서는 초기 레이어를 동결한 채 다중 척도 특징과 로그-멜 특징을 융합한 입력으로 미세 조정한다.
• 합성곱 신경망의 후단에서 다중 척도 파형 특징과 로그-멜 스펙트로그램 특징을 연결하여 융합하는 메커니즘을 구현함으로써 상보적인 표현의 공동 최적화를 가능하게 한다.
• 다중 척도 합성곱과 이중 단계 융합 방법을 통합한 엔드 투 엔드 CNN 아키텍처인 WaveMsNet을 구축하며, 분류를 위한 공유 백엔드 레이어를 포함한다.
• 이중 단계 학습 프rotocol를 적용: 첫 번째 단계에서는 원시 파형으로 네트워크를 학습하여 구분 능력 있는 시간 도메인 패턴을 학습하고, 두 번째 단계에서는 로그-멜 특징을 추가하여 후단 레이어만 미세 조정한다.
• 각 합성곱 레이어 뒤에 배치 정규화와 ReLU 활성화 함수를 적용하고, 전역 평균 풀링을 거친 후 완전 연결 레이어를 사용하여 분류한다.

실험 결과

연구 질문

• RQ1 동일한 필터 수를 사용할 때, 단일 척도 필터 대비 원시 파형에 대한 다중 척도 합성곱 연산이 음성 표현 학습에 더 나은 성능을 내는가?
• RQ2 단일 모델 내에서 파형과 로그-멜 특징을 융합하는 이중 단계 학습 방법이 별도의 모델을 학습하고 예측을 평균 내는 것보다 더 높은 성능을 내는가?
• RQ3 다중 척도 합성곱 레이어의 다양한 척도 필터가 어떻게 서로 다른 주파수 대역 특징을 학습하는 데 기여하는가?
• RQ4 기존의 최신 기술 수준의 파형 전용 모델 대비 제안된 융합 전략이 환경 음향 데이터셋에서 분류 정확도를 얼마나 향상시키는가?
• RQ5 성능 향상 요인이 더 나은 특징 표현인지, 또는 개선된 융합 전략인지 확인되며, 초기 레이어를 동결하는 것이 최종 정확도에 미치는 영향은 무엇인가?

주요 결과

• WaveMsNet은 ESC-10에서 93.75%의 정확도를 달성하고 ESC-50에서는 79.10%를 기록하여 이전의 파형 전용 모델을 크게 능가하며 인간 수준 성능(95.70% 및 81.30%)에 근접한다.
• 동일한 필터 수를 사용할 때 다중 척도 합성곱 연산은 단일 척도 모델 대비 약 3%의 정확도 향상을 보이며, 다양한 스펙트럼-시간 패턴을 효과적으로 캐치할 수 있음을 입증한다.
• 특징 융합을 포함한 이중 단계 학습 방법은 첫 번째 단계 전용 모델 대비 ESC-10에서 5.70%, ESC-50에서는 9.05%의 성능 향상을 보이며, 파형과 스펙트로그램 특징의 공동 최적화가 매우 효과적임을 보여준다.
• 초기 레이어(Convol1 및 Convol2)를 두 번째 단계에서 동결함으로써 더 큰 성능 향상을 얻었으며, 이는 로그-멜 특징이 원시 파형 표현 학습을 방해할 수 있으므로 신중한 관리가 필요함을 시사한다.
• 이중 단계 방법은 한 단계 공동 학습보다 ESC-10에서 5.00% 향상되고 ESC-50에서는 2.75% 향상되어, 별도의 사전 학습과 미세 조정이 더 나은 특징 학습과 모델 안정성을 가능하게 함을 확인한다.
• 학습된 필터의 시각화 결과, 다양한 척도가 서로 다른 주파수 대역에 특화되어 있음을 확인할 수 있다: 작은 척도는 더 넓고 멜-스케일에 맞는 대역을 캐치하고, 더 큰 척도는 하위 대역에서 고주파 해상도를 집중적으로 처리함으로써 다중 척도 학습의 상보성과 효과를 입증한다.