[논문 리뷰] A report on sound event detection with different binaural features

Sharath Adavanne, Tuomas Virtanen|arXiv (Cornell University)|2017. 10. 09.

Music and Audio Processing참고 문헌 18인용 수 60

한 줄 요약

이 논문은 TUT Sound Events 2017 데이터셋에서 스택드 합성곱-순환 네트워크를 사용하여 폴리포닉 소리 이벤트 탐지에 대해 세 가지 이중 귀( binaural ) 오디오 특징을 단일 채널 기준선과 비교하고, 이중 귀 특징이 일반적으로 오류율에 대해 유사하거나 개선됨을 보인다. 특히 다중 해상도에서 추출된 로그 멜-밴드 에너지(bin-mul-mbe)가 테스트된 특징들 중에서 가장 좋은 오류율 성능을 자주 보인다.

ABSTRACT

In this paper, we compare the performance of using binaural audio features in place of single-channel features for sound event detection. Three different binaural features are studied and evaluated on the publicly available TUT Sound Events 2017 dataset of length 70 minutes. Sound event detection is performed separately with single-channel and binaural features using stacked convolutional and recurrent neural network and the evaluation is reported using standard metrics of error rate and F-score. The studied binaural features are seen to consistently perform equal to or better than the single-channel features with respect to error rate metric.

연구 동기 및 목표

• 이중 귀 특징이 단일 채널 특징보다 폴리포닉 SED를 향상시키는지 동기를 부여하고 평가한다.
• 세 가지 이중 귀 특징 유형을 조사하고 이를 단일 채널 로그 멜-밴드 에너지 기반선과 비교한다.
• CRNN 아키텍처를 사용하여 TUT Sound Events 2017 데이터셋에서 성능을 평가한다.

제안 방법

• 이중 귀 녹음에서 세 가지 이중 귀 특징 세트(bin-mbe, bin-mul-mbe, bin-fft)와 단일 채널 mbe를 추출한다.
• 시간 분포된 출력을 갖는 쌓인 CNN–GRU–Dense 네트워크에 특징을 입력하여 다중 레이블 분류를 수행한다.
• 바이너리 크로스 엔트로피 손실, Adam 옵티마이저, 드롭아웃, 조기 종료를 사용해 학습하고 1초 세그먼트 단위로 ER 및 F-점수를 평가한다.
• 각 특징에 대해 네트워크 구성을 선택하기 위한 무작위 하이퍼파라미터 탐색을 수행한다.
• 기본 mono-channel mbe와 비교하고 DCASE 2017의 development 및 challenge 분할에서 결과를 보고한다.

실험 결과

연구 질문

• RQ1 Do binaural features provide equal or better error rates than single-channel features for polyphonic SED on the selected dataset?
• RQ2 Which binaural feature configuration yields the best ER and F-score in development and challenge settings?
• RQ3 How do multi-resolution binaural mel features and binaural FFT-based features compare to mono-channel features for SED?
• RQ4 Does the dataset size or feature type affect the stability and training of the CRNN model?

주요 결과

• Binaural features generally match or slightly outperform single-channel mbe in error rate across evaluations.
• The bin-mul-mbe feature consistently improves ER compared to mbe alone.
• Bin-fft shows competitive performance in ER but higher validation/training loss, suggesting data size limitations.
• On the challenge evaluation, mbe remains strong, with bin-mbe close behind in ER and F.
• Across features, binaural approaches can achieve lower ER than the baseline in development and sometimes in challenge settings.
• Overall, log mel-band energy extracted in multiple resolutions (bin-mul-mbe) often provides the best ER performance.