[논문 리뷰] Detecting bird sound in unknown acoustic background using crowdsourced training data

Timos Papadopoulos, Stephen Roberts외 1명|arXiv (Cornell University)|2015. 05. 24.

Animal Vocal Communication and Behavior인용 수 4

한 줄 요약

이 논문은 xeno-canto에서 확보한 커뮤니티 기반 음성 데이터를 활용해 알려지지 않은 음향 배경에서 새의 소리를 스케일러블하고 비지도 방식으로 탐지하는 방법을 제안한다. 개방형 녹음자료에서 추출한 스펙트로그램 특징에 대해 생성 모델인 가우시안 혼합 모델(GMM)을 훈련시켜 수동 전처리 없이도 효과적인 비정상성 탐지가 가능하며, 다양한 환경와 신호 대 잡음비에서 일관된 성능을 보이지만, 스펙트럼 겹침으로 인해 종에 따라 성능이 다소 차이가 난다.

ABSTRACT

Biodiversity monitoring using audio recordings is achievable at a truly global scale via large-scale deployment of inexpensive, unattended recording stations or by large-scale crowdsourcing using recording and species recognition on mobile devices. The ability, however, to reliably identify vocalising animal species is limited by the fact that acoustic signatures of interest in such recordings are typically embedded in a diverse and complex acoustic background. To avoid the problems associated with modelling such backgrounds, we build generative models of bird sounds and use the concept of novelty detection to screen recordings to detect sections of data which are likely bird vocalisations. We present detection results against various acoustic environments and different signal-to-noise ratios. We discuss the issues related to selecting the cost function and setting detection thresholds in such algorithms. Our methods are designed to be scalable and automatically applicable to arbitrary selections of species depending on the specific geographic region and time period of deployment.

연구 동기 및 목표

• 수동으로 레이블링된 배경 데이터에 의존하지 않고도 복잡하고 알려지지 않은 음향 환경에서 새의 소리를 탐지할 수 있는 스케일러블한 방법을 개발하는 것.
• xeno-canto에서 확보한 커뮤니티 기반, 최소한의 레이블링이 적용된 음성 데이터를 활용해 새의 소리에 특화된 정상성 모델을 학습하는 것.
• 생성 모델이 다양한 비새 소리 배경(도시 및 자연 환경 포함)에서 새의 소리를 효과적으로 구분할 수 있는지 평가하는 것.
• 자동으로 작동하며 종별로 특화된 탐지 기능을 제공하여 더 큰 분류 파ipeline나 인간-자동화 시스템에 통합할 수 있도록 하는 것.
• 특징 선택과 모델 복잡도가 다양한 음향 조건에서 탐지 성능에 미치는 영향을 평가하는 것.

제안 방법

• xeno-canto에서 확보한 개방형 새 음성 녹음자료에서 추출한 스펙트로그램 프레임에 기반해 가우시안 혼합 모델(GMM)을 사용해 생성 모델을 훈련하는 것.
• 새의 소리를 표현하기 위해 스펙트럼 평탄도 측도(SFM), 스펙트럼 중심, 스펙트럼 플럭스를 조합한 특징 벡터를 사용하는 것.
• 모델의 복잡도와 데이터 피팅의 균형을 확보하기 위해 최소 기술 길이(MDL) 기준을 적용해 최적의 GMM 컴포넌트 수를 결정하는 것.
• 학습된 GMM에 대해 테스트 세그먼트의 가능도가 낮을 경우 잠재적인 새의 소리로 간주하는 비정상성 탐지 프레임워크를 적용하는 것.
• 극단가 이론 기반의 확률적 임계값 설정 방법을 활용해 정상(새 유사) 및 비정상(비새) 세그먼트 간의 결정 경계를 설정하는 것.
• IEEE AASP 챌린지 데이터베이스의 실제 환경 녹음자료(예: '공원' 및 '야시장' 카테고리)를 대상으로 방법을 테스트하며, 다양한 신호 대 잡음비를 고려하는 것.

실험 결과

연구 질문

• RQ1 커뮤니티 기반, 최소한의 레이블링이 적용된 새 녹음자료를 기반으로 훈련된 생성 모델이 알려지지 않은 음향 배경에서 새의 소리를 효과적으로 탐지할 수 있는가?
• RQ2 스펙트럼 평탄도 측도(SFM), 스펙트럼 중심, 스펙트럼 플럭스 등의 음성 특징 선택이 다양한 종과 환경에서 탐지 성능에 어떤 영향을 미치는가?
• RQ3 배경의 복잡도(예: 도시 대비 자연 환경)와 신호 대 잡음비가 탐지 성능을 얼마나 떨어뜨리는가?
• RQ4 특히 훈련 데이터가 제한된 상황에서 MDL 기준이 과적합을 피하면서도 최적의 GMM 컴포넌트 수를 신뢰성 있게 결정할 수 있는가?
• RQ5 실제 생물음향 모니터링 환경에서 GMM 기반 비정상성 탐지에 대해 원칙적인 임계값 설정 방법을 어떻게 적용할 수 있을까? 이는 민감도와 특이도의 균형을 맞추는 데 기여한다.

주요 결과

• 다양한 무작위 데이터 분할과 배경 환경에서 일관된 탐지 성능을 기록하여, 이 방법이 강건하고 재현 가능함을 보여준다.
• 스펙트럼 평탄도 측도(SFM)를 특징으로 포함시킴으로써 일부 종(예: *Turdus merula*, *Turdus philomelos*)의 탐지 성능 향상이 이루어졌으며, 이는 스펙트럼 텍스처 정보가 유용함을 시사한다.
• '공원' 배경에서 '야시장' 배경으로 전환할 경우 성능이 다소 저하되며, 신호 대 잡음비가 6dB 감소할 경우 더 큰 성능 저하가 발생하지만, 전체적으로는 제한된 수준이다.
• MDL 기준은 종과 특징 세트에 관계없이 일관된 최적의 GMM 컴포넌트 수(일반적으로 5~10개)를 도출하며, 이 이상의 컴포넌트 수를 늘려도 성능 향상이 없다.
• 모드 특징에서 저주파수 에너지가 우세한 종(예: 1~2 kHz)은 분류 성능이 열 劣하므로, 이 주파수대가 인간의 말소리와 도시 소음과 겹쳐지기 때문이다.
• 기본 방법은 *Luscinia luscinia*, *Luscinia megarhynchos*, *Turdus merula* 등의 종에서 성능이 열 劣하나, 배경 소리와 스펙트럼 유사성이 높기 때문에 더 구분력 있는 특징이나 시간적 모델링이 필요함을 시사한다.