[논문 리뷰] A multi-device dataset for urban acoustic scene classification

Annamaria Mesaros, Toni Heittola외 1명|arXiv (Cornell University)|2018. 07. 25.

Music and Audio Processing참고 문헌 10인용 수 181

한 줄 요약

tldr: DCASE 2018에서 다중 기기 녹음을 포함한 여섯 개의 유럽 도시를 아우르는 TUT Urban Acoustic Scenes 2018 데이터 세트를 소개하고, 매칭/매칭되지 않은 기기 조건에서 세 가지 하위 작업에 대한 CNN baseline을 제시합니다.

ABSTRACT

This paper introduces the acoustic scene classification task of DCASE 2018 Challenge and the TUT Urban Acoustic Scenes 2018 dataset provided for the task, and evaluates the performance of a baseline system in the task. As in previous years of the challenge, the task is defined for classification of short audio samples into one of predefined acoustic scene classes, using a supervised, closed-set classification setup. The newly recorded TUT Urban Acoustic Scenes 2018 dataset consists of ten different acoustic scenes and was recorded in six large European cities, therefore it has a higher acoustic variability than the previous datasets used for this task, and in addition to high-quality binaural recordings, it also includes data recorded with mobile devices. We also present the baseline system consisting of a convolutional neural network and its performance in the subtasks using the recommended cross-validation setup.

연구 동기 및 목표

• 현실 세계 조건을 반영하기 위해 다중 기기 녹음을 가진 크고 가변적인 도시 음향 현장 데이터 세트를 구축.
• 고품질 및 다중 기기 녹음에 대한 기본 CNN 성능을 평가합니다.
• 음향 현장 분류 성능에 대한 기기 불일치의 영향을 조사합니다.
• 공정한 벤치마킹을 위한 투명한 데이터 분할과 개발·평가 파이프라인을 제공합니다.

제안 방법

• 10초 구간에서 로그-멜 에너지를 계산합니다(40 밴드).
• 40x500 입력(로그-멜 에너지)을 사용하는 두 개의 합성곱 계층과 하나의 완전 연결 계층으로 CNN을 학습합니다.
• 학습에 배치 정규화와 Adam 옵티마이저(lr=0.001)를 사용합니다.
• 누출을 피하기 위해 위치 기반 분할로 개발/학습/테스트 데이터를 분할합니다.
• 세 가지 하위 작업에서 기준선을 제공합니다: A(매칭된 고품질 기기), B(평행 데이터가 있는 불일치 기기), C(외부 데이터 허용).
• 강건한 다중 기기 평가를 위해 네 개 기기에서 시간 동기화된 병렬 녹음을 사용합니다.

실험 결과

연구 질문

• RQ1 다중 기기 녹음을 포함한 크고 다도시 도시 음향 현장 데이터 세트가 분류 성능에 어떤 영향을 미치는가?
• RQ2 매칭 조건(하위 작업 A)에서의 기본 CNN 성능과 기기 불일치(하위 작업 B)에서의 성능은 어떠한가?
• RQ3 기기 다양성과 병렬 데이터가 기기 간 일반화 및 평가 조건에 어떤 영향을 미치는가?
• RQ4 외부 데이터 전이 학습(하위 작업 C)이 현실적인 불일치 조건에서 성능을 향상시킬 수 있는가?

주요 결과

• baseline CNN은 하위 작업 A에서 개발 정확도 59.7%, 평가 정확도 61.0%를 10개 현장에서 달성합니다.
• 하위 작업 A의 현장별 개발/평가 성능은 개발 40.4%에서 80.5%까지, 평가 33.9%에서 81.9%까지 변동하며 Public Square가 가장 약한 클래스로 나타납니다.
• 하위 작업 B는 기기 A와 비교해 B, C 기기에서 테스트 시 상당한 하락을 보이며 기기 불일치의 효과를 보여줍니다; B/C의 평균 성능은 A보다 현저히 낮습니다.
• 현장별 하위 작업 A의 평균 성능은 개발 59.7%, 평가 61.0%입니다.
• 기기 D(압축 오디오)는 불일치 하에서 특히 성능이 저조하여 기기 간 일반화에 미치는 녹음 형식의 영향을 강조합니다.