[논문 리뷰] Attention based Convolutional Recurrent Neural Network for Environmental Sound Classification

Zhichao Zhang, Shugong Xu외 3명|arXiv (Cornell University)|2019. 07. 04.

Music and Audio Processing참고 문헌 25인용 수 10

한 줄 요약

이 논문은 환경 음향 분류를 위한 주의 기반의 컨volutional 순환 신경망(ACRNN)을 제안하며, 프레임 수준의 주의 메커니즘을 CNN-RNN 아키텍처에 통합하여 의미적으로 관련성 있고 중요한 프레임에 집중한다. 이 방법은 음성 없는 프레임과 관련 없는 프레임을 효과적으로 걸러내는 주의 메커니즘을 통해 기존 모델보다 뚜렷하게 뛰어난 성능을 보이며, ESC-10에서 93.7%의 최고 성능 정확도와 ESC-50에서 86.1%의 최고 성능 정확도를 달성한다.

ABSTRACT

Environmental sound classification (ESC) is a challenging problem due to the complexity of sounds. The ESC performance is heavily dependent on the effectiveness of representative features extracted from the environmental sounds. However, ESC often suffers from the semantically irrelevant frames and silent frames. In order to deal with this, we employ a frame-level attention model to focus on the semantically relevant frames and salient frames. Specifically, we first propose an convolutional recurrent neural network to learn spectro-temporal features and temporal correlations. Then, we extend our convolutional RNN model with a frame-level attention mechanism to learn discriminative feature representations for ESC. Experiments were conducted on ESC-50 and ESC-10 datasets. Experimental results demonstrated the effectiveness of the proposed method and achieved the state-of-the-art performance in terms of classification accuracy.

연구 동기 및 목표

• 환경 음향 분류에서 음성 없는 프레임과 의미적으로 관련 없는 프레임에 대응하기 위한 도전 과제를 해결하기 위해.
• 프레임 수준의 주의를 CNN-RNN 아키텍처에 통합하여 특징 표현을 향상시키기 위해.
• 원음 데이터 융합 없이도 공개된 ESC 데이터셋에서 최고 성능을 달성하기 위해 스펙트로그램 특징만을 사용하는 것.
• 네트워크 아키텍처에서 주의를 적용할 최적의 레이어를 조사하기 위해.

제안 방법

• 입력으로 로그-감마톤 스펙트로그램을 사용하며, 이는 STFT와 128밴드 감마톤 필터 베이스를 통해 추출된다.
• 1D 컨volution 레이어 두 개와 양방향 GRU를 포함한 컨volutional 순환 신경망(CRNN) 아키텍처를 설계하여 스펙트로-시간적 특징과 순차적 특징을 추출한다.
• 프레임 수준의 주의 메커니즘이 GRU의 은닉 상태에서 계산되어 관련 있는 프레임을 선택적으로 강조한다.
• 주의 메커니즘은 여러 레이어(l2, l4, l6, l8, l10)에서 평가되었으며, 최종 RNN 레이어(l10)에 적용했을 때 가장 높은 성능를 기록했다.
• 일반화 및 강건성을 향상시키기 위해 시간 스트레칭, 톤 이동, 믹업을 활용한 데이터 증강 기법을 적용한다.
• 최종 아키텍처는 CNN 특징 추출, 양방향 GRU 시계열 모델링, 그리고 엔드 투 엔드 학습 가능한 주의 기반 프레임 선택을 통합한다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처의 어디에 프레임 수준의 주의를 적용할 경우 성능 향상이 가장 크며?
• RQ2 주의 메커니즘이 환경 음향 분류에서 음성 없는 프레임과 관련 없는 프레임을 효과적으로 억제할 수 있는가?
• RQ3 CNN 및 RNN 레이어 양쪽에 주의를 통합하면 표준 CRNN보다 분류 정확도가 향상되는가?
• RQ4 원음 또는 다중 스트림 특징을 사용하는 최고 성능 모델들과 비교해 본다면, 제안된 ACRNN는 어떻게 성능을 내는가?

주요 결과

• ACRNN는 ESC-10 데이터셋에서 93.7%의 최고 성능 정확도와 ESC-50 데이터셋에서 86.1%의 최고 성능 정확도를 기록하여 기존 모델을 능가했다.
• 최종 RNN 레이어(l10)에 주의를 적용했을 때 가장 높은 정확도를 기록했으며, 주의 없이 비교했을 때 ESC-10에서는 0.7%p, ESC-50에서는 1.5%p의 절대적 향상이 있었다.
• 주의 메커니즘이 데이터 증강과 결합된 경우에도 성능 향상이 있었으며, 관련 없는 프레임을 걸러내는 데 있어 강건성과 효과성을 입증했다.
• 원음 데이터 융합 없이도 스펙트로그램 특징만을 사용하여 뛰어난 성능을 달성했으며, WaveMsNet 및 Multi-Stream CNN와 같은 모델들은 원음과 스펙트로그램 입력을 융합해야만 높은 성능를 내는 데에 성공했다.
• 혼동 행렬 분석 결과, 종소리의 정확도는 100%로 매우 높았고, 헬리콥터는 52.5%로 낮은 정확도를 보였으며, 주로 비행기와의 음향 유사성으로 인해 오분류되었다.
• 초기 CNN 레이어(l2 등)에 주의를 적용하는 것도 성능 향상에 약간 기여했지만, RNN 레이어에 적용했을 때보다는 효과가 떨어졌다.