[논문 리뷰] A Strongly-Labelled Polyphonic Dataset of Urban Sounds with Spatiotemporal Context

Kenneth Ooi, Karn N. Watcharasupat외 9명|arXiv (Cornell University)|2021. 11. 03.

Music and Audio Processing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 싱가포르 전역에 걸쳐 무선 음향 센서 네트워크를 통해 수집한 6,547건의 실제 도시 환경 음향 기록을 포함한 SINGA:PURA를 소개한다. 이 데이터셋은 시공간 메타데이터와 계층적 레이블 분류 체계를 갖추고 있으며, 고도화된 도시 음향 태깅, 탐지 및 국지화 작업을 가능하게 한다. 14개 클래스 분류 과제에서 기본 모델이 마이크로-AUPRC 0.7064를 기록하여 실제 음향 AI 응용 분야에서의 유용성을 입증한다.

ABSTRACT

This paper introduces SINGA:PURA, a strongly labelled polyphonic urban sound dataset with spatiotemporal context. The data were collected via several recording units deployed across Singapore as a part of a wireless acoustic sensor network. These recordings were made as part of a project to identify and mitigate noise sources in Singapore, but also possess a wider applicability to sound event detection, classification, and localization. This paper introduces an accompanying hierarchical label taxonomy, which has been designed to be compatible with other existing datasets for urban sound tagging while also able to capture sound events unique to the Singaporean context. This paper details the data collection, annotation, and processing methodologies for the creation of the dataset. We further perform exploratory data analysis and include the performance of a baseline model on the dataset as a benchmark.

연구 동기 및 목표

• 강력한 레이블이 부여된 공개 데이터셋이 부족한 현실 도시 음향 데이터셋의 부족을 해소하기 위해, 시공간적 맥락을 갖춘 실제 도시 음향 데이터셋을 개발하고자 한다.
• 기존의 도시 음향 데이터셋(예: SONYC-UST)과 호환 가능한 계층적 레이블 분류 체계를 개발함과 동시에 싱가포르 특유의 음향 현상을 포괄하고자 한다.
• 복잡한 도시 음향 환경에서 음향 이벤트 탐지, 분류 및 국지화와 같은 고도화된 음향 작업을 가능하게 하고자 한다.
• 합성 데이터에서 발생하는 공변량 이동 문제를 줄이기 위해, 실제 다성분 도시 음향 기록에 기반한 벤치마크 데이터셋을 제공하고자 한다.
• 데이터 기반 접근법을 통해 도시 환경에서의 소음원 식별 및 완화 이니셔티브를 지원하고자 한다.

제안 방법

• 데이터는 싱가포르 전역에 배포된 무선 음향 센서 네트워크를 사용하여 수집되었으며, 단채널 및 다채널 기록 장치로 구성되어 있다.
• 각 기록은 14개의 굵은 수준 클래스와 56개의 세밀한 수준 클래스를 포함하는 계층적 분류 체계를 사용하여 강력한 레이블이 부여되었다.
• 각 기록에 시공간 메타데이터(위치, 시간, 센서 ID)가 부착되어 맥락 인식 분석을 가능하게 하였다.
• 데이터셋은 6,547건의 강력한 레이블이 부여된 기록과 72,406건의 레이블이 없는 기록을 포함하고 있으며, 주로 다성분 음향 이벤트에 초점을 맞추고 있다.
• 기본 모델은 DCASE 2020 챌린지에서 유도된 모델을 변형하여 SINGA:PURA에 맞게 미세조정하였으며, 굵은 수준 분류를 위해 14개 클래스 출력 레이어를 사용하였다.
• 모델 평가는 마이크로 및 마크로 평균 AUPRC 및 F1 점수를 사용하였으며, 성능 분석을 위한 세부적인 클래스별 AUPRC도 보고하였다.

실험 결과

연구 질문

• RQ1 실제 도시 환경에서 다성분 음향 기록을 시공간적 맥락과 함께 대규모로 체계적으로 수집하고 레이블링하는 방법은 무엇인가?
• RQ2 계층적 레이블 분류 체계는 기존의 도시 음향 데이터셋과의 호환성을 얼마나 향상시키며, 同시에 도시 특유의 음향 현상을 얼마나 잘 포괄할 수 있는가?
• RQ3 실제 도시 환경에서 강력한 레이블이 부여된 다성분 음향 기록과 시공간 맥락을 갖춘 복잡한 데이터셋에서 기본 딥 러닝 모델의 성능은 어떠한가?
• RQ4 실제 도시 기록에서 다성분 이벤트의 분포(예: 겹치는 소리의 수)는 합성 데이터나 단순한 데이터셋과 비교해 어떻게 다른가?
• RQ5 다양한 도시 환경에서 학습된 모델(SONYC-UST)이 음향 이벤트 분포가 다른 새로운 도시 환경(Singapore)으로 일반화될 수 있는가?

주요 결과

• SINGA:PURA 데이터셋은 싱가포르 전역의 실제 무선 음향 센서 네트워크를 통해 수집된 6,547건의 강력한 레이블이 부여된 기록과 시공간 메타데이터를 포함하고 있다.
• 14개의 굵은 수준 클래스와 56개의 세밀한 수준 클래스를 포함하는 계층적 레이블 분류 체계를 갖추고 있어 SONYC-UST와 호환되며 동시에 싱가포르 도시 음향의 고유성을 반영하고 있다.
• 가장 흔한 다성분 수준은 1개 기록당 2개의 이벤트이며, 최대 7개의 겹치는 이벤트가 관찰되었고, 3개 이상의 이벤트에서는 다성분 분포가 지수적으로 감소하였다.
• 기본 모델은 SINGA:PURA 데이터셋에서 마이크로-AUPRC 0.7064와 마이크로-F1 점수 0.4811을 기록하여, 복잡한 실제 도시 음향 분류 작업에서 중간 수준의 성능을 보였다.
• 일부 클래스에서는 뚜렷한 성능 격차가 관찰되었으며, 전동 saw(AUPRC 0.0220)와 브레이크(0.1649)는 낮은 탐지 성능를 보였고, 인간의 목소리(0.8708)와 엔진(0.8706)은 잘 분류되었다.
• 공존 매트릭스 분석 결과, 일부 음향 클래스 간 강한 상관관계가 확인되었으며(예: 엔진, 경고 신호, 인간의 목소리), 반면 다른 조합은 낮은 공존도를 보였다(예: 물과 기계 충격 또는 전동 saw).