[논문 리뷰] Sound Event Detection and Separation: a Benchmark on Desed Synthetic Soundscapes

Nicolas Turpault, Romain Serizel외 6명|arXiv (Cornell University)|2020. 11. 02.

Music and Audio Processing참고 문헌 30인용 수 30

한 줄 요약

본 논문은 DESED 합성 음향환경에서 최첨단 음향 이벤트 검출(SED) 시스템을 벤치마크하고, 시간 위치화, 잔향 및 비대상 이벤트를 분석하며 전처리 단계로서의 소리 분리(sound separation)의 영향력을 평가한다.

ABSTRACT

We propose a benchmark of state-of-the-art sound event detection systems (SED). We designed synthetic evaluation sets to focus on specific sound event detection challenges. We analyze the performance of the submissions to DCASE 2021 task 4 depending on time related modifications (time position of an event and length of clips) and we study the impact of non-target sound events and reverberation. We show that the localization in time of sound events is still a problem for SED systems. We also show that reverberation and non-target sound events are severely degrading the performance of the SED systems. In the latter case, sound separation seems like a promising solution.

연구 동기 및 목표

• 약하게 라벨링된 학습 데이터로 실세계의 다중 이벤트 환경에서 강인한 SED를 달성하도록 동기를 부여한다.
• 합성 DESED 음향환경이 특정 SED 과제(타이밍, 중첩, 잔향)를 어떻게 드러낼 수 있는지 평가한다.
• 도전적인 조건에서 SED 성능에 대한 전처리 단계로서의 소리 분리(sound separation)의 영향을 평가한다.

제안 방법

• 타이밍, 지속 시간, 중첩, 잔향 등 SED 과제를 분리하도록 설계된 합성 평가 세트를 사용한다.
• 합성 평가 세트 및 공식 실측 데이터를 대상으로 DCASE 2020 작업 4에 제출물을 벤치마크한다.
• 비대상 이벤트 및 잔향에 대한 강인성을 SSep 전처리 여부에 따라 분석한다.
• 발생 시 200 ms onset collar 및 가변적인 offset collar를 사용한 이벤트 기반 F-score를 사용한 평가를 사용한다.

실험 결과

연구 질문

• RQ1 클립 내 시간 위치가 특히 긴 이벤트의 경우 SED 성능에 어떤 영향을 미치는가?
• RQ2 잔향 및 비대상 이벤트가 SED 성능에 어떤 영향을 주며, SSep가 이러한 효과를 완화할 수 있는가?
• RQ3 클립 길이(10초 대 60초)와 이벤트 밀도가 탐지 강건성에 영향을 주는가?
• RQ4 비대상 이벤트가 없는 상황에서도 SSep 전처리가 강건성을 향상시킬 수 있는가?
• RQ5 긴 이벤트 시나리오에서 현재 평가 지표(목 collars 기반)의 한계는 무엇인가?

주요 결과

• 잔향은 평균적으로 F-score에서 약 15%의 성능 저하를 유발한다.
• 60s 클립을 사용할 때 합성 참조(ref) 대비 성능이 저하되며, 여러 시스템에서 재현 부문에서 회상(recognition)이 크게 감소하여 시간적 위치화 문제를 시사한다.
• 클립 내 시간 위치화는 짧은 이벤트에 대해서는 영향이 적으나, 이벤트가 클립 말미에 발생할 때 긴 이벤트의 경우 저하되며 윈도잉/후처리 편향을 시사한다.
• SSep를 사용하는 시스템은 비대상 이벤트로 인한 성능 저하가 줄어들었고(TNTSNR 조건에서 F-score가 약 12.5% 대 19% 감소 대비),
• SSep는 비대상 이벤트가 없을 때 일관되게 성능을 향상시키지 않는다(TNTSNR_inf).
• 더 긴 클립(60s)은 일반적으로 SED 시스템에 더 큰 난이도를 제시하며 주로 재현 감소 및 임계값 적응 문제 때문이다.