[논문 리뷰] Urban Sound Classification : striving towards a fair comparison

Augustin Arnault, Baptiste Hanssens외 1명|arXiv (Cornell University)|2020. 10. 22.

Music and Audio Processing참고 문헌 25인용 수 4

한 줄 요약

이 논문은 도시 음향 분류를 위한 DCASE 2020 Task 5 수상 솔루션을 제시하며, 검증 데이터에서 군집화 수준(粗)에서 매크로-AUPRC 0.82, 세분화 수준(細)에서 0.62를 기록하고, ESC-50과 US8k에서 각각 89.7% 및 85.41%의 정확도를 달성한다. 일관된 입력 표현, 평가 지표, 최적화 방법을 사용하는 공정한 비교 프레임워크를 도입하여 다양한 데이터셋 간의 모델 평가를 재현 가능하게 한다.

ABSTRACT

Urban sound classification has been achieving remarkable progress and is still an active research area in audio pattern recognition. In particular, it allows to monitor the noise pollution, which becomes a growing concern for large cities. The contribution of this paper is two-fold. First, we present our DCASE 2020 task 5 winning solution which aims at helping the monitoring of urban noise pollution. It achieves a macro-AUPRC of 0.82 / 0.62 for the coarse / fine classification on validation set. Moreover, it reaches accuracies of 89.7% and 85.41% respectively on ESC-50 and US8k datasets. Second, it is not easy to find a fair comparison and to reproduce the performance of existing models. Sometimes authors copy-pasting the results of the original papers which is not helping reproducibility. As a result, we provide a fair comparison by using the same input representation, metrics and optimizer to assess performances. We preserve data augmentation used by the original papers. We hope this framework could help evaluate new architectures in this field. For better reproducibility, the code is available on our GitHub repository.

연구 동기 및 목표

• 도시 음향 분류 분야에서 최신 기술을 제안하고 DCASE 2020 Task 5 도전 대회에서 수상한 솔루션을 제시한다.
• 오디오 패턴 인식 분야에서 모델 간 공정하고 재현 가능한 비교가 부족한 문제를 해결하기 위해 입력 표현, 평가 지표, 최적화 방법을 표준화한다.
• 통합된 프레임워크를 사용해 ESC-50, US8k, SONYC-UST 등 여러 데이터셋에서 모델 성능을 평가하여 객관적인 비교를 보장한다.
• 코드를 공개하고 스펙트로그램 계산 및 지표 구현의 일관성 문제를 부각시켜 재현 가능성을 향상시킨다.
• 특히 SONYC-UST와 같이 노이즈가 많은 데이터셋에서 레이블 품질과 재레이블링 전략이 모델 성능에 미치는 영향을 조사한다.

제안 방법

• 모델는 일관된 특징 추출을 보장하기 위해 Librosa를 사용해 원본 오디오 입력을 로그-멜 스펙트로그램으로 변환한다.
• 하이브리드 아키텍처는 수정된 TALNet 기반의 글로벌 특징 추출기(10개의 합성곱 블록과 Bi-GRU 레이어 포함)와 잔차 연결을 갖춘 특정 특징 추출기로 구성된다.
• 장기적인 시간적 의존성을 포착하기 위해 다중 헤드 자기주의(self-attention)를 적용하여 세분화된 분류 성능을 향상시킨다.
• 데이터 증강 기법으로는 시간 왜곡, 주파수 마스킹, 시간 마스킹, 랜덤 크기 조정을 사용하며, 이는 SpecAugment 및 Argus에서 유도된 것이다.
• 자원봉사자 애너테이션에서 발생하는 일관성 없는 레이블을 수정하기 위해 SONYC-UST에 대해 재레이블링 전략을 적용하여 모델의 강건성을 향상시켰다.
• 모든 모델는 동일한 최적화 방법(Adam), 손실 함수(이元 교차 엔트로피), 평가 지표(매크로-AUPRC, 정확도)를 사용하여 평가되어 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 일관된 입력 표현, 평가 지표, 최적화 방법을 갖춘 통합 평가 프레임워크는 도시 음향 분류 분야에서 모델 비교의 재현 가능성과 공정성에 어떻게 기여하는가?
• RQ2 레이블 품질은 특히 신뢰도가 낮을 수 있는 자원봉사자 애너테이션을 포함한 데이터셋인 SONYC-UST와 같이 레이블 품질이 떨어지는 경우 모델 성능에 어떤 영향을 미치는가?
• RQ3 자기주의를 강화한 아키텍처는 도시 음향 이벤트의 장기적인 시간적 패턴을 포착하는 데 기존의 합성곱 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ4 스펙트로그램 계산 방법의 차이(예: Librosa 대비 PyTorch)는 모델 성능과 재현 가능성에 어떤 영향을 미치는가?
• RQ5 데이터 증강 기법 및 실행 세부 사항의 변동(예: Mixup 변종)은 모델 일반화 능력과 보고된 결과에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 모델은 DCASE 2020 Task 5 검증 세트에서 군집화 수준 분류에 매크로-AUPRC 0.82, 세분화 수준 분류에 0.62를 달성했다.
• ESC-50 데이터셋에서 모델은 89.7%의 정확도를 기록했으며, 여러 베이스라인 모델을 초월했다.
• US8k 데이터셋에서 모델은 85.41%의 정확도를 달성하여 다양한 데이터셋 간의 강력한 일반화 능력을 보였다.
• SONYC-UST에서 군집화 수준 분류에서는 모델가 CNN10을 능가했지만, 세분화 수준 과제에서는 CNN10이 더 높은 성능을 보였다.
• 재레이블링 전략은 SONYC-UST에서 성능 향상에 크게 기여하여, 레이블 노이즈가 실제 데이터셋에서 주요 혼란 요인임을 시사했다.
• 평가 프레임워크 간의 지표 계산 불일치—특히 AUC와 F1—가 관찰되어 표준화된 평가의 필요성을 강조했다.