[논문 리뷰] The impact of non-target events in synthetic soundscapes for sound event detection

Ronchini, Francesca, Serizel, Romain외 2명|arXiv (Cornell University)|2021. 09. 28.

Noise Effects and Management인용 수 4

한 줄 요약

이 논문은 음향 이벤트 검출(Sound Event Detection, SED)을 위한 합성 음향 환경에서 비대상 음향 이벤트의 영향을 조사하며, 훈련 시에는 비대상 이벤트를 포함하고 검증 시에는 제거함으로써 기존의 양자 모두에서 비대상 이벤트를 사용하는 기준 모델 대비 검출 성능 향상을 보여준다. 최고의 성능은 훈련 시 10 dB의 대상 대비 비대상 신호 대 잡음 비율(TNTSNR)을 사용했을 때 달성되었으며, 비대상 이벤트를 포함해 훈련하는 것은 비대상 이벤트 전용 클립에서의 잘못된 경고 수를 감소시켰다.

ABSTRACT

Detection and Classification Acoustic Scene and Events Challenge 2021 Task 4 uses a heterogeneous dataset that includes both recorded and synthetic soundscapes. Until recently only target sound events were considered when synthesizing the soundscapes. However, recorded soundscapes often contain a substantial amount of non-target events that may affect the performance. In this paper, we focus on the impact of these non-target events in the synthetic soundscapes. Firstly, we investigate to what extent using non-target events alternatively during the training or validation phase (or none of them) helps the system to correctly detect target events. Secondly, we analyze to what extend adjusting the signal-to-noise ratio between target and non-target events at training improves the sound event detection performance. The results show that using both target and non-target events for only one of the phases (validation or training) helps the system to properly detect sound events, outperforming the baseline (which uses non-target events in both phases). The paper also reports the results of a preliminary study on evaluating the system on clips that contain only non-target events. This opens questions for future work on non-target subset and acoustic similarity between target and non-target events which might confuse the system.

연구 동기 및 목표

• 합성 음향 환경에서 비대상 이벤트를 포함하는 것이 SED 시스템 성능에 미치는 영향을 조사하는 것.
• 비대상 이벤트를 훈련, 검증, 또는 둘 다에서 사용할 경우 검출 정확도가 향상되는지 판단하는 것.
• 대상 대비 비대상 신호 대 잡음 비율(TNTSNR)이 SED 성능에 미치는 영향을 분석하는 것.
• 비대상 이벤트 전용 클립에서의 잘못된 경고 비율을 평가하여 대상 및 비대상 이벤트 간의 청각적 혼동 가능성을 규명하는 것.
• 비대상 이벤트의 분포와 동시 발생이 모델의 일반화 능력과 견고성에 미치는 영향을 탐색하는 것.

제안 방법

• Scaper를 사용하여 고립된 대상 및 비대상 음향 이벤트를 제어된 시간과 공간 분포로 포함한 합성 음향 환경을 생성하였다.
• 세 가지 훈련 설정을 평가: 대상 이벤트만 사용, 훈련 시 대상 및 비대상 이벤트를 모두 사용, 검증 시에만 비대상 이벤트를 사용.
• 검출 성능에 미치는 영향을 평가하기 위해 훈련 중에 신호 대 잡음 비율(TNTSNR)을 체계적으로 변화시켰다.
• 각 클래스별로 잘못된 경고 비율을 측정하기 위해 비대상 이벤트 전용 클립에서의 초도 평가를 실시하였다.
• 성능 평가를 위해 DESED 데이터셋을 사용하여 표준 SED 메트릭(예: F1 점수 및 동등 오류 비율(EER))을 활용해 모델을 훈련 및 검증하였다.
• 모든 실험은 DCASE 2021 Task 4 기준 시스템을 기반으로 수행되었으며, 재현 가능성을 위해 코드 및 사전 학습 모델을 공개하였다.

실험 결과

연구 질문

• RQ1 비대상 이벤트를 훈련 시에만 포함하고 검증 시에는 포함하지 않을 경우, 이를 검증 시에만 또는 전혀 사용하지 않는 경우보다 음향 이벤트 검출 성능이 향상되는가?
• RQ2 합성 음향 환경을 훈련할 때 SED 성능을 최대화하기 위해 최적의 대상 대비 비대상 신호 대 잡음 비율(TNTSNR)은 무엇인가?
• RQ3 비대상 이벤트를 훈련 시에 사용했는지 여부에 따라 비대상 이벤트 전용 클립에서의 잘못된 경고 검출 빈도는 어떻게 달라지는가?
• RQ4 대상 및 비대상 이벤트 간의 청각적 유사성이 모델의 혼동과 잘못된 경고에 얼마나 기여하는가?
• RQ5 비대상 이벤트의 분포와 동시 발생이 SED 모델의 일반화 능력과 견고성에 미치는 영향은 어느 정도인가?

주요 결과

• 비대상 이벤트를 훈련 시에만 사용하고 검증 시에는 사용하지 않은 설정이, 훈련과 검증 모두에서 비대상 이벤트를 사용하는 기준 설정보다 더 높은 검출 성능을 보였다.
• 전반적인 최고 성능은 훈련 시 10 dB의 TNTSNR를 사용했을 때 달성되었으며, 이는 낮은 비율이나 높은 비율보다 뛰어났다.
• 비대상 이벤트를 포함해 훈련하는 것은 비대상 이벤트 전용 클립에서의 잘못된 경고 검출을 크게 감소시켰으며, 특히 Dishes 및 Speech 클래스에서 두드러졌다.
• 비대상 이벤트를 훈련 시에 포함하지 않은 경우 비대상 이벤트 전용 클립에서 잘못된 경고 비율이 높아져 견고성이 떨어지는 것으로 나타났다.
• 결과적으로 합성 음향 환경와 실제 음향 환경 간의 TNTSNR 불일치가 성능 저하에 기여할 수 있으나, 이것이 유일한 원인은 아님을 시사한다.
• 특정 클래스(예: Dishes)의 원래 이벤트 분포와 잘못된 경고 비율 사이에 뚜렷한 괴리가 존재하여 청각적 혼동이 발생할 가능성이 있으며, 향후 추가 연구가 필요하다.