[논문 리뷰] DCASE 2021 Task 3: Spectrotemporally-aligned Features for Polyphonic Sound Event Localization and Detection

Thi Ngoc Tho Nguyen, Karn N. Watcharasupat외 3명|arXiv (Cornell University)|2021. 06. 25.

Music and Audio Processing참고 문헌 24인용 수 16

한 줄 요약

이 논문은 다중채널 특징인 스펙트로템포럴로 정렬된 특징(SALSA)을 제안한다. SALSA는 로그스펙트로그램, 직접-반사비(DRR), 그리고 공간 공분산 행렬의 정규화된 주성분 고유벡터를 융합하여 음성 콘텐츠와 도래 방향(DOA) 정보 간의 정밀한 시간-주파수 정렬을 가능하게 한다. SALSA로 훈련된 딥러닝 모델은 DCASE 2021 베이스라인을 크게 능가하여 방향성 간섭이 존재하는 다성분 음향 이벤트 현지화 및 탐지(SLED)에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Sound event localization and detection consists of two subtasks which are sound event detection and direction-of-arrival estimation. While sound event detection mainly relies on time-frequency patterns to distinguish different sound classes, direction-of-arrival estimation uses magnitude or phase differences between microphones to estimate source directions. Therefore, it is often difficult to jointly train these two subtasks simultaneously. We propose a novel feature called spatial cue-augmented log-spectrogram (SALSA) with exact time-frequency mapping between the signal power and the source direction-of-arrival. The feature includes multichannel log-spectrograms stacked along with the estimated direct-to-reverberant ratio and a normalized version of the principal eigenvector of the spatial covariance matrix at each time-frequency bin on the spectrograms. Experimental results on the DCASE 2021 dataset for sound event localization and detection with directional interference showed that the deep learning-based models trained on this new feature outperformed the DCASE challenge baseline by a large margin. We combined several models with slightly different architectures that were trained on the new feature to further improve the system performances for the DCASE sound event localization and detection challenge.

연구 동기 및 목표

• 겹치는 소스와 방향성 간섭이 존재하는 다성분 음성에서 음향 이벤트 탐지(SED)와 도래 방향(DOA) 추정을 동시에 최적화하는 과제를 해결한다.
• 기존 특징(예: 로그멜 스펙트로그램 및 강도 벡터)에서 시간-주파수 패턴(Sed용)과 공간 측정치(DOA용) 간의 비일치를 해결한다.
• 다중 소스 시나리오, 특히 간섭 상황에서도 음성 클래스와 DOA 간 정확한 시간-주파수 대응을 유지하는 특징을 개발한다.
• 엔드 투 엔드 딥러닝 모델에서 스펙트로템포럴 및 공간 정보의 더 나은 융합을 가능하게 하여 SELD 성능을 향상시킨다.

제안 방법

• 각 시간-주파수 영역에서 로그스펙트로그램, DRR, 공간 공분산 행렬의 정규화된 주성분 고유벡터를 융합한 다중채널 특징인 SALSA를 제안한다.
• 모든 구성 요소를 동일한 시간-주파수 격자에 정렬하여 신호 전력과 DOA 간 정확한 시간-주파수 매핑을 보장한다.
• SALSA를 입력으로 사용하여 엔드 투 엔드 SELD 모델을 훈련하며, 양방향 GRU 또는 LSTM을 갖는 CRNN과 다중헤드 자기주의(MHSA)를 디코딩에 사용한다.
• 추론 중 정확도 및 일반화 능력을 향상시키기 위해 16개의 공간 증강을 적용한 테스트 시점 증강(TTA)을 적용한다.
• 다양한 아키텍처를 가진 여러 모델을 앙상블—SLED 앙상블 및 SED 앙상블—으로 조합한 후 최종 예측을 위해 융합한다.
• 서로 다른 클래스별 출력 헤드를 사용하여 앙상블 조합을 용이하게 하고, 겹치는 동일 클래스 이벤트의 처리를 향상시킨다.

실험 결과

연구 질문

• RQ1 스펙트로템포럴로 정렬된 특징이 방향성 간섭이 존재하는 다성분 음성에서 SED와 DOA 추정의 공동 학습을 향상시킬 수 있는가?
• RQ2 스펙트로템포럴 콘텐츠와 공간 측정치 간 정확한 시간-주파수 대응을 유지하는 것이 기존 특징보다 더 나은 SELD 성능을 이끌어내는가?
• RQ3 표준 로그멜 스펙트로그램과 강도 벡터에 비해 제안된 SALSA 특징은 겹치는 음향 이벤트와 간섭을 다루는 데 어떻게 비교되는가?
• RQ4 테스트 시점 증강 및 모델 앙상블 전략이 SALSA로 훈련된 SELD 시스템의 정확도 및 내성에 얼마나 기여하는가?
• RQ5 SALSA는 실제 데이터셋에서 흔히 발생하는 겹치는 동일 클래스 이벤트의 해소에 더 나은 성능을 발휘할 수 있는가?

주요 결과

• SALSA로 훈련된 모델은 DCASE 2021 베이스라인(LM/IV)에 비해 큰 폭으로 성능을 뛰어넘었으며, 테스트 세트에서 통합 탐지 및 정렬 점수(LR_CD)가 42.6% 향상되었다.
• 최고 성능을 보인 시스템(D)은 LR_CD 0.756, ER≤20° 0.378, F1≤20° 0.740을 기록했으며, 베이스라인(LR_CD: 0.439)에 비해 뚜렷한 우월성을 보였다.
• SALSA로 훈련된 GRU 모델(TTA 적용)은 ER≤20° 0.404, F1≤20° 0.702를 기록했으며, 베이스라인 LM/IV 모델(ER≤20°: 0.690, F1≤20°: 0.339)을 능가했다.
• 테스트 시점 증강(TTA)을 적용한 결과, 비증강 추론 대비 ER≤20°는 10.4% 감소하고 F1≤20°는 10.9% 증가하여 그 효과가 입증되었다.
• 여러 SELD 모델을 앙상블하고 SED 앙상블과 융합함으로써 성능이 추가로 향상되었으며, 최종 시스템은 최고의 단일 모델 대비 LR_CD에서 1.6%의 절대적 향상을 달성했다.
• SALSA 특징은 DCASE 2021 데이터셋에서 전체 프레임의 10.45%를 차지하는 겹치는 동일 클래스 이벤트를 더 잘 해소할 수 있었으며, 세밀한 공간 및 스펙트럼 정렬을 유지함으로써 이를 가능하게 하였다.