[논문 리뷰] Environmental Sound Classification with Parallel Temporal-spectral Attention

Helin Wang, Yuexian Zou외 2명|View|2019. 12. 14.

Music and Audio Processing참고 문헌 9인용 수 8

한 줄 요약

이 논문은 환경 음향 분류 성능을 햖스키기 위해 병렬 시간-스펙트럼 주의 메커니즘을 합성곱 신경망(CNN)에 제안한다. 이는 시간 프레임과 주파수 대역을 별도로 주의를 기울여 처리함으로써, 분류 성능을 향상시킨다. 시간과 주파수 주의를 병렬 브랜치에서 적용함으로써, 특징의 구분 능력을 향상시키며, ESC-10에서 95.8%, ESC-50에서 88.6%의 최신 기술 수준(SOTA) 정확도를 달성하고, 다양한 데이터셋에서 노이즈에 대한 강건성을 향상시킨다.

ABSTRACT

Convolutional neural networks (CNN) are one of the best-performing neural network architectures for environmental sound classification (ESC). Recently, temporal attention mechanisms have been used in CNN to capture the useful information from the relevant time frames for audio classification, especially for weakly labelled data where the onset and offset times of the sound events are not applied. In these methods, however, the inherent spectral characteristics and variations are not explicitly exploited when obtaining the deep features. In this paper, we propose a novel parallel temporal-spectral attention mechanism for CNN to learn discriminative sound representations, which enhances the temporal and spectral features by capturing the importance of different time frames and frequency bands. Parallel branches are constructed to allow temporal attention and spectral attention to be applied respectively in order to mitigate interference from the segments without the presence of sound events. The experiments on three environmental sound classification (ESC) datasets and two acoustic scene classification (ASC) datasets show that our method improves the classification performance and also exhibits robustness to noise.

연구 동기 및 목표

• 기존의 CNN 주의 메커니즘이 환경 음향 분류에 적용될 때 시간 동적 특성에 초점을 맞추지만 주파수 변동성을 忽시하는 한계를 해결하고자 한다.
• spectrogram 내에서 다양한 주파수 대역과 시간 프레임의 중요성을 명시적으로 모델링하여 특징의 구분 능력을 향상시키고자 한다.
• 시간 및 주파수 특징 간 간섭을 줄이기 위해 독립적인 주의 계산을 위한 병렬 아키텍처를 사용하여 간섭을 방지하고자 한다.
• 특히 음향 이벤트 경계가 제공되지 않는 약한 레이블링 조건에서의 노이즈에 대한 모델 강건성을 향상시키고자 한다.
• 환경 음향 분류(ESC) 및 음향 시나리오 분류(ASC) 작업 모두에서 제안된 방법의 효과성을 검증하고자 한다.

제안 방법

• 동일한 특징 맵에 적용되는 두 개의 별도 브랜치를 가진 병렬 시간-스펙트럼 주의 메커니즘을 설계하였다: 하나는 시간 주의를 위한 것이고, 다른 하나는 주파수 주의를 위한 것이다.
• 시간 주의는 글로벌 평균 풀링과 학습 가능한 가중치 벡터를 사용하여 시간 프레임을 따라 주의 가중치를 계산하며, 관련된 시간 세그먼트에 집중한다.
• 주파수 주의는 시간 축을 따라 글로벌 평균 풀링을 사용하여 주파수 대역을 따라 주의 가중치를 계산하며, 인간 청각 피질의 주파수 선택적 필터링에 영감을 받았다.
• 주의 맵은 요소별 곱셈을 통해 입력 특징 맵에 적용되어 관련된 시간-주파수 영역을 강화하고 노이즈 및 관련 없는 성분을 억제한다.
• 병렬 구조는 시간 주의 및 주파수 주의 브랜치 간의 간섭을 방지하여, 노이즈 조건 하에서도 안정성과 강건성을 향상시킨다.
• 이 메커니즘은 CNN 아키텍처(TS-CNN10)에 통합되었으며, 어떤 합성곱 레이어에도 적용 가능하며, 제거 실험을 통해 깊이 있는 레이어에서 주의 메커니즘이 성능 향상에 가장 큰 기여를 한다는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 병렬 시간-스펙트럼 주의 메커니즘이 CNN의 환경 음향 분류를 위한 특징 표현을 향상시킬 수 있는가?
• RQ2 시간 프레임과 주파수 대역을 별도로 주의를 기울이는 것이 통합 또는 순차적 주의 메커니즘보다 성능 향상에 기여하는가?
• RQ3 음향 이벤트 경계가 제공되지 않는 조건에서, 특히 노이즈 조건 하에서 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ4 이 주의 메커니즘은 음향 시나리오 분류와 같은 다른 음성 분류 작업으로 일반화될 수 있는가?
• RQ5 병렬 아키텍처는 시간 및 주파수 특징 학습 간의 간섭을 줄여 강건성을 향상시키는가?

주요 결과

• 제안된 TS-CNN10 모델은 ESC-10 데이터셋에서 인간 수준 성능을 초월하는 최신 기술 수준 정확도 95.8%를 달성하였다.
• ESC-50 데이터셋에서 제안된 방법은 청결 조건 하에서 기준 CNN10 대비 3.4% 향상된 88.6%의 정확도를 기록하였다.
• 노이즈 조건 하에서 TS-CNN10은 10 dB SNR에서 고유성 노이즈 조건 하에 CNN10 대비 5.4%의 정확도 향상을 보였다.
• DCASE 2018 및 2019 ASC 벤치마크 데이터셋에서 성능 향상을 확인하였으며, 이는 음향 시나리오 분류로의 일반화 능력을 확인한다.
• 시각화 결과는 TS-CNN10이 특징 맵에서 노이즈에 의해 활성화되는 영역을 효과적으로 억제하면서도 관련된 시간-주파수 영역의 활성화를 유지함을 보여주었다.
• 제거 실험 결과 병렬 구조가 연결 또는 순차적 주의 변형보다 성능이 뛰어나며, 특히 깊은 레이어에서 주의 메커니즘이 가장 큰 기여를 한다는 것이 확인되었다.