[논문 리뷰] Acoustic Scene Classification with Spectrogram Processing Strategies

Helin Wang, Yuexian Zou외 1명|arXiv (Cornell University)|2020. 07. 06.

Music and Audio Processing참고 문헌 17인용 수 11

한 줄 요약

이 논문은 CNN을 사용한 음향 환경 분류(ASC)를 향상시키기 위해 세 가지 스펙트로그램 처리 전략—SPSMR(다중 표현), SPSMF(다중 주파수 대역), SPSMT(다중 시간 프레임)—을 제안한다. 각 스펙트로그램 유형에 대해 별도의 네트워크를 적용하고 추론 시 결정을 융합함으로써, DCASE 2020 Task1A에서 81.8%의 정확도(기본값 54.1% 대비)와 Task1B에서 92.1%의 정확도(기본값 87.3% 대비)를 달성하여 기존 기본값 및 특징 수준 융합 방법을 크게 능가한다.

ABSTRACT

Recently, convolutional neural networks (CNN) have achieved the state-of-the-art performance in acoustic scene classification (ASC) task. The audio data is often transformed into two-dimensional spectrogram representations, which are then fed to the neural networks. In this paper, we study the problem of efficiently taking advantage of different spectrogram representations through discriminative processing strategies. There are two main contributions. The first contribution is exploring the impact of the combination of multiple spectrogram representations at different stages, which provides a meaningful reference for the effective spectrogram fusion. The second contribution is that the processing strategies in multiple frequency bands and multiple temporal frames are proposed to make fully use of a single spectrogram representation. The proposed spectrogram processing strategies can be easily transferred to any network structures. The experiments are carried out on the DCASE 2020 Task1 datasets, and the results show that our method could achieve the accuracy of 81.8% (official baseline: 54.1%) and 92.1% (official baseline: 87.3%) on the officially provided fold 1 evaluation dataset of Task1A and Task1B, respectively.

연구 동기 및 목표

• 다양한 스펙트로그램 표현을 효과적으로 활용하여 음향 환경 분류(ASC) 성능을 향상시키는 것.
• 복잡한 음향 환경에서 스펙트로그램으로부터의 분류 가능 특징 추출 과제를 해결하는 것.
• 기본 구조를 변경하지 않고도 CNN 기반 ASC 성능을 향상시키는 일반화 가능한 스펙트로그램 처리 전략을 개발하는 것.
• 다양한 스펙트로그램 유형과 공간/시간 하위 영역 간의 결정 수준 융합의 효과를 평가하는 것.
• 이러한 처리 전략이 다양한 네트워크 아키텍처와 데이터셋에 적용될 수 있음을 보여주는 것.

제안 방법

• SPSMR(Spectrogram Processing Strategy in Multiple Representations)는 로그멜, CQT, 감마, MFCC 스펙트로그램 각각에 대해 네 개의 독립 CNN을 사용하고, 예측을 융합하기 위해 결정 수준 융합을 수행한다.
• SPSMF(Spectrogram Processing Strategy in Multiple Frequency Bands)는 스펙트로그램을 하위 대역으로 나누고, 각 대역을 별도의 CNN으로 처리한 후 추론 시 예측을 융합한다.
• SPSMT(Spectrogram Processing Strategy in Multiple Temporal Frames)는 스펙트로그램을 시간 세그먼트로 분할하고, 각 세그먼트를 CNN으로 처리한 후 평균화 또는 투표 방식으로 출력을 통합한다.
• 이 전략들은 모듈러하고 이식 가능하도록 설계되어, 백본을 수정하지 않고도 어떤 CNN 아키텍처와도 통합할 수 있다.
• 특징 수준 융합 대신 결정 수준 융합을 사용하여 표현에 특화된 분류 능력을 유지하고 정확도를 향상시킨다.
• 공식 폴드-1 평가 분할을 사용하여 DCASE 2020 Task1A 및 Task1B 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 독립적인 네트워크와 결정 수준 융합을 통해 다수의 스펙트로그램 표현을 융합하면 ASC 성능이 향상되는가?
• RQ2 주파수 또는 시간에 따라 스펙트로그램을 하위 영역으로 나누어 처리하면 모델의 정확도와 내성 향상이 되는가?
• RQ3 제안된 전략은 특징 수준 융합 방법과 비교해 정확도와 파rameter 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 처리 전략은 다양한 CNN 아키텍처와 데이터셋 구성에 일반화 가능한가?
• RQ5 하위 스펙트로그램 처리 방식이 저 SNR 또는 복잡한 음향 환경에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 SPSMR + SPSMF + SPSMT 전략은 DCASE 2020 Task1A에서 81.8%의 정확도와 0.694의 로그 손실을 기록하여 공식 기본값(54.1%, 1.365)을 크게 뛰어넘었다.
• Task1B에서는 92.1%의 정확도와 0.312의 로그 손실을 달성하여 공식 기본값(87.3%, 0.437)을 초월했다.
• SPSMR만으로도 79.4%의 정확도를 기록하여 다수의 스펙트로그램 유형 간의 결정 수준 융합의 효과를 입증했다.
• SPSMT는 모델 크기를 늘리지 않으면서 성능 향상을 이끌어내어 효율성과 내성의 우수성을 보였다.
• SPSMF와 SPSMT는 단일 표현 모델에 적용했을 때 모두 정확도 향상을 이끌었으며, 특히 SPSMF는 감마 및 로그멜 스펙트로그램에서 더 큰 성과를 보였다.
• EF 및 LF와 같은 특징 수준 융합 방법은 특히 덜 분류 능력이 뛰어난 특징(예: MFCC)이 포함될 경우 제안된 결정 수준 융합에 비해 성능이 열 劣하다.