[논문 리뷰] What Makes Sound Event Localization and Detection Difficult? Insights from Error Analysis

Thi Ngoc Tho Nguyen, Karn N. Watcharasupat외 4명|arXiv (Cornell University)|2021. 07. 22.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 DCASE 2020 및 2021 챌린지의 두 최상위 성능 SELD 시스템에 대한 세부적인 오류 분석을 수행하여 실제 음향 환경에서 음향 이벤트 현지화 및 탐지(SELD)의 핵심 과제를 규명한다. 분석 결과, 다중 음향(특히 겹치는 음향 이벤트를 모두 탐지하는 데 어려움)이 비록 다중 음향 트레이닝 데이터에서 뛰어난 성능을 보였음에도 불구하고 주요 장애물임을 밝혀냈다. 알려지지 않은 간섭은 치환 오류를 크게 증가시키며, DOA 임계값이 10° 이하로 떨어질 경우 현지화 정확도가 뚜렷이 저하된다.

ABSTRACT

Sound event localization and detection (SELD) is an emerging research topic that aims to unify the tasks of sound event detection and direction-of-arrival estimation. As a result, SELD inherits the challenges of both tasks, such as noise, reverberation, interference, polyphony, and non-stationarity of sound sources. Furthermore, SELD often faces an additional challenge of assigning correct correspondences between the detected sound classes and directions of arrival to multiple overlapping sound events. Previous studies have shown that unknown interferences in reverberant environments often cause major degradation in the performance of SELD systems. To further understand the challenges of the SELD task, we performed a detailed error analysis on two of our SELD systems, which both ranked second in the team category of DCASE SELD Challenge, one in 2020 and one in 2021. Experimental results indicate polyphony as the main challenge in SELD, due to the difficulty in detecting all sound events of interest. In addition, the SELD systems tend to make fewer errors for the polyphonic scenario that is dominant in the training set.

연구 동기 및 목표

• 실제 음향 환경에서 최첨단 SELD 시스템의 성능을 저해하는 주요 과제를 규명하기 위해.
• 다중 음향, 이동하는 소스, 알려지지 않은 간섭이 탐지 및 현지화 성능에 미치는 영향을 조사하기 위해.
• SED 및 DOA 지표가 DOA 추정 정확도와 클래스 분포 기울기 의존성에 어떻게 영향을 받는지 분석하기 위해.
• 전반적인 시스템 신뢰성에 미치는 공간 오차(azimuth 대비 elevation)와 클래스별 성능 격차의 影響를 평가하기 위해.

제안 방법

• DCASE 2020 및 2021 챌린지의 두 최상위 시스템(NTU’20 및 NTU’21)에 대한 오류 분석을 수행하였다.
• 위치 기반 및 클래스 기반 지표를 사용하여 성능을 평가하였으며, 다양한 DOA 임계값 T에 대해 LE(현지화 오차), LR(현지화 재현율), ER≤T°, F≤T°를 포함하였다.
• 클래스별 세그먼트 분포와 성능를 분석하여 클래스 불균형이 탐지 정확도에 미치는 영향을 평가하였다.
• 정적 소스 대비 이동 소스에서의 성능를 비교하고, 현지화 오차를 방향각과 고도 성분으로 분해하였다.
• 실제 조건을 시뮬레이션하기 위해, 알려지지 않은 방향 간섭과 다중 음향(최대 3개의 타겟 이벤트)을 포함한 2021 DCASE SELD 데이터셋을 사용하였다.
• DOA 임계값 민감도와 클래스 의존성에 대한 제거 실험을 수행하여 오류 원인을 분리하였다.

실험 결과

연구 질문

• RQ1 다중 음향 및 반향 환경에서 SELD 시스템이 겪는 주요 오류 원인은 무엇인가?
• RQ2 알려지지 않은 방향 간섭의 존재가 SELD의 치환 오류 및 삭제 오류에 어떤 영향을 미치는가?
• RQ3 DOA 추정 정확도가 엄격한 DOA 임계값 하에서 위치 기반 SED 성능에 얼마나 큰 영향을 미치는가?
• RQ4 클래스 분포의 차이와 공간 특성(방향각 대비 고도)이 현지화 및 탐지 신뢰성에 어떻게 영향을 미치는가?
• RQ5 왜 높은 세그먼트 기반 클래스 빈도가 SELD 시스템에서 높은 탐지 성능과 관련이 없는가?

주요 결과

• 다중 음향이 SELD에서 주요 과제이며, 시스템이 겹치는 모든 음향 이벤트를 탐지하지 못해 강력한 다중 음향 트레이닝 데이터 성능에도 불구하고 높은 삭제 오류 비율을 보인다.
• 알려지지 않은 간섭은 특히 다중 이벤트가 존재할 경우 치환 오류를 크게 증가시키며, 예상치 못한 공간 소스에 대한 저항성이 낮음을 시사한다.
• DOA 임계값이 10° 이하로 낮아질 경우 현지화 오차가 급격히 증가하며, 이는 많은 DOA 추정치가 비록 가까워 보여도 실제 값에서 상당히 벗어나 있음을 나타낸다.
• NTU’21 시스템은 여성의 말소리에 대해 클래스별 F≤20° 점수 94.2%를 기록했지만, 이는 세그먼트 기반 비율이 낮은 1.3%임에도 불구하고, 이는 클래스 특정 특성(빈도가 아니라)이 탐지 성공에 영향을 미친다는 것을 시사한다.
• 고도 오차(6.2°)는 방향각 오차(7.9°)와 거의 유사한 수준이지만, 고도의 각도 범위가 작기 때문에 고도 추정이 특히 어렵다는 것을 시사한다.
• 이동하는 소스는 현지화 오차를 증가시키지만 SED 성능에 거의 영향을 주지 않으며, 이는 DOAE가 SED보다 소스 동역학에 더 민감하다는 것을 시사한다.