[논문 리뷰] SoundDet: Polyphonic Moving Sound Event Detection and Localization from Raw Waveform

Yuhang He, Niki Trigoni외 1명|arXiv (Cornell University)|2021. 06. 13.

Music and Audio Processing인용 수 10

한 줄 요약

SoundDet는 스펙트럼 전처리 없이 원시 다중채널 웨이브포맷을 직접 처리하는 엔드 투 엔드이자 경량의 프레임워크로, 다성분 이동 음향 이벤트 탐지 및 정렬을 수행한다. 이는 단일 객체 중심 접근 방식을 통해 세그먼트 기반 및 새로운 이벤트 기반 평가 지표에서 최고 성능을 달성한다. 단계별로는 위상 및 주파수 민감도를 갖춘 MaxCorr 필터 베드, 시간적 겹침과 운동 연속성 지도를 갖춘 고밀도 이벤트 제안, 그리고 원시 웨이브포맷에서 직접 처리함으로써 성능을 극대화한다.

ABSTRACT

We present a new framework SoundDet, which is an end-to-end trainable and light-weight framework, for polyphonic moving sound event detection and localization. Prior methods typically approach this problem by preprocessing raw waveform into time-frequency representations, which is more amenable to process with well-established image processing pipelines. Prior methods also detect in segment-wise manner, leading to incomplete and partial detections. SoundDet takes a novel approach and directly consumes the raw, multichannel waveform and treats the spatio-temporal sound event as a complete "sound-object" to be detected. Specifically, SoundDet consists of a backbone neural network and two parallel heads for temporal detection and spatial localization, respectively. Given the large sampling rate of raw waveform, the backbone network first learns a set of phase-sensitive and frequency-selective bank of filters to explicitly retain direction-of-arrival information, whilst being highly computationally and parametrically efficient than standard 1D/2D convolution. A dense sound event proposal map is then constructed to handle the challenges of predicting events with large varying temporal duration. Accompanying the dense proposal map are a temporal overlapness map and a motion smoothness map that measure a proposal's confidence to be an event from temporal detection accuracy and movement consistency perspective. Involving the two maps guarantees SoundDet to be trained in a spatio-temporally unified manner. Experimental results on the public DCASE dataset show the advantage of SoundDet on both segment-based and our newly proposed event-based evaluation system.

연구 동기 및 목표

• 음향 이벤트 탐지 및 정렬에서 수작업으로 설계된 시간-주파수 표현과 세그먼트 기반 탐지에 의존하는 기존 방법의 한계를 해결하기 위해.
• 음향 이벤트를 온셋, 오프셋, 지속시간, 클래스, 도래 방향을 포함한 완전한 '음향 객체'로 간주함으로써 시간적 탐지와 공간적 정렬을 하나의 엔드 투 엔드 프레임워크로 통합하기 위해.
• 스펙트럼 전처리를 제거하고 계산 비용을 줄이면서도, 겹치는 음향 이벤트를 구분하는 데 핵심적인 위상 및 주파수 정보를 유지하기 위해.
• 기존의 세그먼트 기반 지표보다 이벤트의 완전성과 연속성을 더 잘 반영하는 새로운 이벤트 기반 평가 지표를 제안하기 위해.
• 운동 일관성과 경계 인식 신뢰도 지도를 통합하여 장시간 지속 및 이동 중인 음향 이벤트의 탐지 정확도를 향상시키기 위해.

제안 방법

• SoundDet는 낮은 파rameter 및 계산 비용으로 위상 민감도와 주파수 선택성을 갖춘 필터를 학습하는 새로운 MaxCorr 필터 베드를 사용하여 원시 다중채널 웨이브포맷을 직접 소비한다.
• 백본 네트워크는 스트라이드 1D 컨벌루션과 디컨벌루션을 거쳐 양방향 GRU를 통해 장거리 시간적 의존성을 포착한다.
• 모든 시간 스텝에서 이벤트 후보를 예측할 수 있는 고밀도 제안 지apap을 생성하며, 시간적 겹침과 운동 연속성 지도로부터 관련 신뢰도 점수를 제공한다.
• 두 개의 병렬 헤드를 사용한다: 하나는 다중 레이블 분류(이벤트 클래스)를 위한 것이고, 다른 하나는 공간적 정렬(DoA)을 위한 것으로, 모두 특징 지도에서 회귀한다.
• 운동 연속성 지도는 예측의 시간적 일관성을 보장하여 이동 중인 이벤트의 정확도를 향상시킨다.
• 이벤트 기반 평가 시스템을 도입하여, 다양한 신뢰도 임계값에서 mAP와 mAR를 계산하여 이벤트의 완전성과 연속성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 스펙트럼 전처리 없이 원시 웨이브포맷을 직접 처리하는 엔드 투 엔드 프레임워크는 다성분 이동 음향 이벤트 탐지 및 정렬에 효과적인가?
• RQ2 시간 지속성과 운동 일관성을 갖춘 완전한 '음향 객체'로 이벤트를 모델링할 경우, 세그먼트 기반 접근 방식과 비교해 탐지 성능은 어떻게 향상되는가?
• RQ3 운동 연속성과 시간적 겹침 지도를 통합할 경우, 정렬 정확도와 이벤트 완전성에 어떤 영향을 미치는가?
• RQ4 제안된 이벤트 기반 평가 지표는 기존의 표준 세그먼트 기반 지표보다 실제 세계의 탐지 성능을 더 잘 반영하는가?
• RQ5 MaxCorr와 같은 경량이고 파rameter 효율적인 필터 베드는 표준 1D/2D 컨벌루션보다 음향 이벤트 탐지에서 방향성 및 주파수 정보를 더 잘 유지할 수 있는가?

주요 결과

• SoundDet는 SELDNet을 능가하고 EIN과 유사한 성능을 달성하면서도 훨씬 적은 파라미터를 사용하여 효율성과 효과성을 입증한다.
• 운동 연속성 지도의 포함으로 인해 성능 향상이 뚜렷하게 나타나, 이는 이동 중인 음향 이벤트 정렬의 정확도 향상에 중요한 역할을 함을 시사한다.
• 이벤트 기반 평가 지표에서 SoundDet는 모든 기존 방법보다 높은 mAP와 mAR를 기록하여 최고 성능을 달성했으며, 이는 이벤트의 완전성과 연속성 모델링이 뛰어남을 의미한다.
• DCASE 2019 데이터셋에서 SoundDet는 장시간 지속 및 겹치는 음향 이벤트 탐지에서 특히 유리함을 보였으며, 이는 세그먼트 기반 기준선이 잘 처리하지 못하는 영역이다.
• 추론 시간은 SELDNet과 유사한 1.25초/분이며 EIN의 약 두 배 빠른 2.20초/분을 기록하여 계산 효율성도 확인되었다.
• MaxCorr 필터 베드는 원시 웨이브포맷에서 효과적인 표현 학습을 가능하게 하였으며, FOA 포맷에서 MIC 포맷보다 더 우수한 성능을 보였고, 파라미터 효율성 면에서 표준 컨벌루션을 능가했다.