[논문 리뷰] On Multitask Loss Function for Audio Event Detection and Localization

Huy Phan, Lam Pham외 4명|arXiv (Cornell University)|2020. 09. 11.

Music and Audio Processing참고 문헌 16인용 수 16

한 줄 요약

이 논문은 다중 작업 음향 이벤트 탐지 및 국소화(SLED)에 대한 동일한 평균 제곱 오차(MSE) 손실을 제안하며, 이벤트 탐지와 도래 방향 추정을 모두 회귀 문제로 공식화한다. DCASE 2020에서의 실험 결과, 기준 모델 대비 병합된 SLED 오차가 10%p 감소하였으며, 모든 지표에서 수렴성과 성능 향상이 이루어졌다.

ABSTRACT

Audio event localization and detection (SELD) have been commonly tackled using multitask models. Such a model usually consists of a multi-label event classification branch with sigmoid cross-entropy loss for event activity detection and a regression branch with mean squared error loss for direction-of-arrival estimation. In this work, we propose a multitask regression model, in which both (multi-label) event detection and localization are formulated as regression problems and use the mean squared error loss homogeneously for model training. We show that the common combination of heterogeneous loss functions causes the network to underfit the data whereas the homogeneous mean squared error loss leads to better convergence and performance. Experiments on the development and validation sets of the DCASE 2020 SELD task demonstrate that the proposed system also outperforms the DCASE 2020 SELD baseline across all the detection and localization metrics, reducing the overall SELD error (the combined metric) by approximately 10% absolute.

연구 동기 및 목표

• 이질적인 손실 함수를 사용할 때 다중 작업 음향 이벤트 탐지 및 국소화(SELD)에서의 과소적합 문제를 해결하기 위해.
• 일관된 손실 함수가 공동 SELD 모델링에서 훈련 수렴성과 모델 일반화 능력을 향상시키는지 조사하기 위해.
• 탐지 및 국소화 하위 작업 모두에 대해 오직 MSE 손실만을 사용하는 다중 작업 회귀 모델의 성능을 평가하기 위해.
• 시그모이드 교차 엔트로피(CE)와 평균 제곱 오차(MSE) 손실의 조합을 사용하는 DCASE 2020 기준 모델과의 비교를 위해.
• 통합된 MSE 기반 접근 방식이 탐지 및 국소화 지표에서 더 균형 잡히고 향상된 성능을 이끌어내는지 입증하기 위해.

제안 방법

• 소리 이벤트 탐지(SED)와 도래 방향(DOA) 추정을 모두 회귀 작업으로 공식화하여, 분류 기반 시그모이드 교차 엔트로피 손실이 필요 없도록 한다.
• 두 하위 작업 모두에 동일한 평균 제곱 오차(MSE) 손실 함수를 사용하여 훈련 중 동일한 최적화를 보장한다.
• 시간-주파수 표현 내의 시간적 및 맥락적 의존성을 모델링하기 위해 양방향 GRU와 자기주의(self-attention)를 사용한 CRNN 아키텍처를 구현한다.
• 크기 $ T \times F \times C $ 의 입력 스펙트로그램을 배치 정규화와 ReLU 활성화 함수를 갖는 여섯 개의 합성곱 레이어를 거쳐, 최대 풀링을 통해 공간 차원을 감소시킨다.
• 첫 번째 합성곱 블록 이후 5×2 최대 풀링 레이어를 적용하여 시간 차원을 100ms 평가 프레임 해상도에 맞춘다.
• 각 시간 프레임 주변의 맥락 모델링을 향상시키기 위해 GRU로 인코딩된 시퀀스에 자기주의를 적용한다.

실험 결과

연구 질문

• RQ1 이질적인 손실 함수(분류에 대해 시그모이드 교차 엔트로피, 회귀에 대해 MSE)를 결합할 경우, 공동 훈련 중 SED 하위 작업에서 과소적합 현상이 발생하는가?
• RQ2 SED 및 DOA 추정에 대해 동일한 MSE 손실을 사용할 경우, 혼합 손실 전략 대비 모델 수렴성과 성능 향상이 이루어지는가?
• RQ3 제안된 다중 작업 회귀 모델은 DCASE 2020 기준 모델 대비 탐지 및 국소화 정확도에서 어떻게 비교되는가?
• RQ4 손실 가중치의 불균형이 공동 SELD 모델의 최적화 역학에 어떤 영향을 미치는가?
• RQ5 오직 회귀 기반 손실 함수만을 사용할 경우, 탐지 및 국소화 지표에서 더 나은 일반화 능력과 균형 잡힌 성능이 달성되는가?

주요 결과

• SED 및 DOA 추정에 동일한 MSE 손실을 사용할 경우, 기존의 CE+MSE 조합 대비 훨씬 더 나은 수렴성과 과소적합 감소가 이루어진다.
• 제안된 모델은 개발 세트와 평가 세트 양쪽에서 DCASE 2020 기준 모델 대비 전체 SELD 오차를 약 10%p 감소시켰다.
• 개발 세트에서 제안된 시스템은 기준 모델 대비 병합된 SELD 오차를 FOA 기준 0.08, MIC 기준 0.11 절대 감소시켰다.
• 평가 세트에서는 오차 감소가 FOA 기준 0.11, MIC 기준 0.09 절대로 이루어져 일관된 향상이 확인되었다.
• 동일한 MSE 손실 하에서 SED 하위 작업 성능이 크게 향상되었으며, DOA 추정 성능는 기준 모델과 유사하게 유지되었다.
• 모델은 앙상블이나 다중 마이크 어레이를 사용하지 않음에도 불구하고, DCASE 2020 Task 3 도전 대회에서 6위를 기록하였다.