[논문 리뷰] DNN and CNN with Weighted and Multi-task Loss Functions for Audio Event Detection

Huy Phan, Martin Krawczyk-Becker외 2명|arXiv (Cornell University)|2017. 08. 10.

Music and Audio Processing참고 문헌 18인용 수 31

한 줄 요약

이 논문은 희귀 음향 이벤트 검출에서 클래스 불균형과 시간 구조 모델링 문제를 해결하기 위해 가중치와 다중 작업 손실 함수를 적용한 DNN 및 CNN 기반 음향 이벤트 검출 시스템을 제안한다. 단계별로 신호 강화 및 작업별 손실 함수를 통합함으로써, 평가 데이터에서 F1 점수 88.3%와 오류율 0.22를 달성하였으며, 이는 DCASE 2017 베이스라인(64.1% F1, 0.64 오류율)을 크게 능가하는 성능이다.

ABSTRACT

This report presents our audio event detection system submitted for Task 2, "Detection of rare sound events", of DCASE 2017 challenge. The proposed system is based on convolutional neural networks (CNNs) and deep neural networks (DNNs) coupled with novel weighted and multi-task loss functions and state-of-the-art phase-aware signal enhancement. The loss functions are tailored for audio event detection in audio streams. The weighted loss is designed to tackle the common issue of imbalanced data in background/foreground classification while the multi-task loss enables the networks to simultaneously model the class distribution and the temporal structures of the target events for recognition. Our proposed systems significantly outperform the challenge baseline, improving F-score from 72.7% to 90.0% and reducing detection error rate from 0.53 to 0.18 on average on the development data. On the evaluation data, our submission obtains an average F1-score of 88.3% and an error rate of 0.22 which are significantly better than those obtained by the DCASE baseline (i.e. an F1-score of 64.1% and an error rate of 0.64).

연구 동기 및 목표

• 희귀 배경 프레임에 비해 풍부한 배경 프레임이 존재하는 음향 이벤트 검출에서의 클래스 불균형 문제를 해결한다.
• 다중 작업 학습 프레임워크를 통해 이벤트 클래스 분포와 시간적 온셋/오프셋을 동시에 모델링하여 인식 성능을 향상시킨다.
• STFT 도메인에서 최신 기술인 단계 인식 신호 강화를 통해 노이즈에 대한 강건성을 향상시킨다.
• 아기 울음, 유리 부서짐, 권총 발사 이벤트를 동시에 검출할 수 있는 통합 다중 클래스 검출 시스템을 개발하여 각 카테고리별 최적화를 방지한다.
• 개발 데이터에서 F-스코어를 최대화하기 위해 임계값과 스무딩 윈도우 조정을 통한 추론 최적화를 수행한다.

제안 방법

• 노이즈가 있는 STFT의 크기 추정을 사용하고 청소된 단계를 복원하여 단계 인식 신호 강화를 적용함으로써 입력 신호 품질을 향상시킨다.
• DNN 및 CNN 모델 모두의 입력 특징으로 로그 감마톤 스펙트럼 계수를 추출하며, 각 네트워크 유형에 맞게 특화된 전처리를 수행한다.
• 이중 단계 검출 파이프라인을 구현한다: 첫 번째로 이진 분류기가 배경 프레임을 거부하고, 두 번째로 다중 클래스 분류기가 아기 울음, 유리 부서짐, 권총 발사 이벤트를 구분한다.
• 이벤트를 놓친 경우(거짓 음성)에 더 높은 손실을 할당하는 가중치 손실 함수를 설계하여 전경/배경 분류에서의 클래스 불균형 문제를 해결한다.
• 분류 예측을 위한 교차 엔트로피 손실과 온셋/오프셋 회귀를 위한 L2 손실을 조합한 다중 작업 손실을 도입하여 클래스 및 시간적 구조를 동시에 모델링할 수 있도록 한다.
• DNN는 200 에포크, CNN는 5 에포크 동안 Adam 옵timizer를 사용하여 학습하며 학습률은 1e-4로 설정하고, 그리드 서치를 통해 추론 임계값과 스무딩 윈도우를 튜닝한다.

실험 결과

연구 질문

• RQ1 불균형 데이터에서 희귀 음향 이벤트 검출 성능을 향상시키기 위해 가중치 손실 함수가 거짓 음성 오류를 줄임으로써 성능 향상에 기여하는가?
• RQ2 분류 및 시간 경계 회귀를 동시에 최적화하는 다중 작업 손실이 일반화 능력과 검출 정확도를 향상시키는가?
• RQ3 인간이 생성한(예: 아기 울음)과 비인간적(예: 유리 부서짐, 권총 발사) 이벤트 검출에서 DNN와 CNN의 성능은 어떻게 비교되는가?
• RQ4 단계 인식 신호 강화는 음향 이벤트 검출에서 딥 러닝 모델의 강건성에 얼마나 기여하는가?
• RQ5 단일 통합 다중 클래스 시스템이 희귀 음향 이벤트 검출에서 카테고리별 최적화 모델을 능가할 수 있는가?

주요 결과

• 제안된 시스템은 DCASE 2017 개발 세트에서 평균 F1 점수 90.0%와 검출 오류율 0.18을 달성하여, 기존 베이스라인(72.7% F1, 0.53 오류율) 대비 17.3%p 향상된 성능을 보였다.
• 평가 세트에서 시스템은 F1 점수 88.3%와 오류율 0.22를 기록하였으며, 이는 DCASE 2017 베이스라인(64.1% F1, 0.64 오류율)을 크게 능가하는 성능을 보였다.
• 인간이 생성한 아기 울음 이벤트에 대해 CNN 기반 시스템이 DNN 기반 시스템을 능가했으며, 이는 다양한 화자에 대해 불변 특징을 학습할 수 있기 때문일 것이다.
• 비인간 이벤트(유리 부서짐 및 권총 발사)에 대해서는 DNN 기반 시스템이 CNN 기반 시스템보다 성능이 뛰어나, 조합 연산이 시간-스펙트럼 패턴에 적합하지 않을 경우 성능 저하가 발생할 수 있음을 시사한다.
• 가장 높은 성능을 보인 시스템은 아기 울음에는 CNN, 유리 부서짐과 권총 발사에는 DNN를 조합한 것으로, 모델 선택이 이벤트 유형에 따라 달라져야 함을 입증했다.
• 이벤트 존재율 근처 0.5의 스무딩 윈도우 길이 사용이 과적합을 방지하고 미리 보지 않은 데이터에 대한 일반화 능력을 향상시키는 데 기여했다.