[논문 리뷰] Feature Pyramid Attention based Residual Neural Network for Environmental Sound Classification

Liguang Zhou, Yuhongze Zhou외 4명|arXiv (Cornell University)|2022. 05. 28.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 스펙트로그램 내에서 의미적으로 관련성이 높은 시간적 및 주파수 영역을 명시적으로 국소화함으로써 환경 음향 분류 성능을 햖थन하는 기능 피라미드 주의망(FPAM)을 제안한다. 다중 척도 특징에 피라미드 공간 및 채널 주의 모듈을 통합함으로써, FPAM은 ESC-50과 ESC-10에서 각각 91.6% 및 99.3%의 정확도로 최신 기술 수준(SOTA) 성능을 달성하며, 주의 시각화를 통해 부적절한 노이즈와 정적 프레임을 효과적으로 제거한다.

ABSTRACT

Environmental sound classification (ESC) is a challenging problem due to the unstructured spatial-temporal relations that exist in the sound signals. Recently, many studies have focused on abstracting features from convolutional neural networks while the learning of semantically relevant frames of sound signals has been overlooked. To this end, we present an end-to-end framework, namely feature pyramid attention network (FPAM), focusing on abstracting the semantically relevant features for ESC. We first extract the feature maps of the preprocessed spectrogram of the sound waveform by a backbone network. Then, to build multi-scale hierarchical features of sound spectrograms, we construct a feature pyramid representation of the sound spectrograms by aggregating the feature maps from multi-scale layers, where the temporal frames and spatial locations of semantically relevant frames are localized by FPAM. Specifically, the multiple features are first processed by a dimension alignment module. Afterward, the pyramid spatial attention module (PSA) is attached to localize the important frequency regions spatially with a spatial attention module (SAM). Last, the processed feature maps are refined by a pyramid channel attention (PCA) to localize the important temporal frames. To justify the effectiveness of the proposed FPAM, visualization of attention maps on the spectrograms has been presented. The visualization results show that FPAM can focus more on the semantic relevant regions while neglecting the noises. The effectiveness of the proposed methods is validated on two widely used ESC datasets: the ESC-50 and ESC-10 datasets. The experimental results show that the FPAM yields comparable performance to state-of-the-art methods. A substantial performance increase has been achieved by FPAM compared with the baseline methods.

연구 동기 및 목표

• 환경 음향의 비정형적인 공간-시간 패턴과 사전 의미적 구조의 부재로 인한 분류 과제를 해결하기 위해.
• 모든 영역을 동일하게 취급하는 대신 의미적으로 관련성이 높은 프레임에 명시적으로 초점을 맞춤으로써 CNN 기반 모델의 특징 학습을 향상시키기 위해.
• 계층적인 다중 척도 특징을 공간 및 채널 주의 기반 메커니즘과 통합하여 주목할 만한 청각 패턴을 더 잘 표현하기 위해.
• 표준 ESC 데이터셋에서의 벤치마크 평가 및 시각화를 통해 제안된 주의 메커니즘이 효과적인지 검증하기 위해.

제안 방법

• 메인 CNN을 통해 음향 웨이브폼의 로그-멜 스펙트로그램에서 다중 척도 특징 맵을 추출함으로써 시작한다.
• 융합 이전에 다양한 척도 간 특징를 정규화하기 위해 체계적 차원 정렬 모듈을 적용한다.
• 피라미드 공간 주의(PSA) 모듈은 특징 맵에 대한 공간 주의 메커니즘을 사용하여 중요한 주파수 영역을 국소화한다.
• 피라미드 채널 주의(PCA) 모듈은 다양한 척도에서 관련성이 높은 시간적 프레임을 강조함으로써 특징를 정밀하게 조정한다.
• 결합된 주의 모듈은 계층적으로 적용되어 임계적인 영역을 강조하면서 노이즈 및 정적 프레임을 억제한다.
• 엔드 투 엔드로 훈련되며, 교차 엔트로피 손실을 사용하고, 일반화 성능 향상을 위해 mix-up를 통한 데이터 증강 기법을 포함한다.

실험 결과

연구 질문

• RQ1 다중 척도 주의 메커니즘이 환경 음향 스펙트로그램 내에서 의미적으로 관련성이 높은 프레임의 국소화에 기여하는가?
• RQ2 피라미드 공간 및 채널 주의의 통합이 표준 CNN과 비교해 환경 음향 분류를 위한 특징 표현을 어떻게 향상시키는가?
• RQ3 제안된 FPAM이 스펙트로그램 기반 분류에서 노이즈 또는 정적 프레임에 대한 의존도를 어느 정도 감소시키는가?
• RQ4 주어진 의미적 구조가 제한된 다양한 환경 음향 클래스에 대해 주의 메커니즘이 일반화 능력과 내성 강도를 향상시키는가?

주요 결과

• FPAM은 ESC-50 데이터셋에서 91.6%의 정확도를 달성하여 기준 방법(86.2%)을 크게 능가하고 최신 기술 수준의 성능를 유지한다.
• ESC-10 데이터셋에서는 99.3%의 정확도를 기록하여 더 작은, 균형 잡힌 데이터셋에서 강력한 일반화 능력을 보여준다.
• 주의 맵의 시각화 결과는 FPAM이 주목할 만한 의미적 관련성이 높은 신호 대역을 효과적으로 강조하면서 정적 및 관련 없는 프레임을 걸러내는 데 성공했음을 확인한다.
• 제거 실험 결과, mix-up 데이터 증강을 FPAM와 결합함으로써 성능이 더욱 향상되어 ESC-50에서 90.5%, ESC-10에서 98.5%의 정확도를 달성한다.
• 훈련 곡선은 감소하는 손실와 증가하는 정확도를 보이며 안정적이고 효과적인 최적화를 시사한다.
• 혼동 행렬은 잘못 분류된 경우 주로 유사한 부모 카테고리(예: 기상 음향) 간에 발생함을 보여주며, 모델이 의미적으로 유의미한 구분을 학습하고 있음을 시사한다.