[논문 리뷰] Deep learning for detection of bird vocalisations

Ilyas Potamitis|arXiv (Cornell University)|2016. 09. 25.

Animal Vocal Communication and Behavior참고 문헌 18인용 수 11

한 줄 요약

이 논문은 깊이 있는 오토인코더 모델을 제안하며, 소음이 많은 현장 기록에서 음성 스펙트로그램을 이진 마스크로 매핑함으로써 생물학적 소음이 아닌 배경 소음을 억제하고 음성 성분을 분리함으로써 새의 소리를 탐지한다. 이 방법은 인간의 간섭을 최소화하고 대규모 데이터에서 효율적으로 작동하며, 실제 음향 환경에서 새 생물다양성의 자동화되고 확장 가능한 모니터링을 가능하게 한다.

ABSTRACT

This work focuses on reliable detection of bird sound emissions as recorded in the open field. Acoustic detection of avian sounds can be used for the automatized monitoring of multiple bird taxa and querying in long-term recordings for species of interest for researchers, conservation practitioners, and decision makers. Recordings in the wild can be very noisy due to the exposure of the microphones to a large number of audio sources originating from all distances and directions, the number and identity of which cannot be known a-priori. The co-existence of the target vocalizations with abiotic interferences in an unconstrained environment is inefficiently treated by current approaches of audio signal enhancement. A technique that would spot only bird vocalization while ignoring other audio sources is of prime importance. These difficulties are tackled in this work, presenting a deep autoencoder that maps the audio spectrogram of bird vocalizations to its corresponding binary mask that encircles the spectral blobs of vocalizations while suppressing other audio sources. The procedure requires minimum human attendance, it is very fast during execution, thus suitable to scan massive volumes of data, in order to analyze them, evaluate insights and hypotheses, identify patterns of bird activity that, hopefully, finally lead to design policies on biodiversity issues.

연구 동기 및 목표

• 실제 소음이 많은 음향 환경에서 새의 소리를 자동으로 탐지하는 시스템을 개발하기 위해.
• 탐지 파이프라인에서 인간의 간섭을 최소화함으로써 수동 애너테이션에 대한 의존도를 줄이기 위해.
• 생태학적 연구 및 보존 활동을 위해 장시간 음성 기록을 대규모로 처리할 수 있도록 하기 위해.
• 바람, 비, 인간의 소음 등 새 외의 음향 원천을 억제하면서도 목표로 하는 새의 소리를 유지하기 위해.
• 대규모 생물다양성 모니터링 시스템에 구현 가능한 빠르고 효율적인 방법을 만들기 위해.

제안 방법

• 딥 오토인코더는 입력 스펙트로그램을 재구성하면서도 새의 소리에 해당하는 스펙트럼 에너지만을 강조하는 이진 마스크를 생성하도록 훈련된다.
• 모델은 현장 기록에서 추출한 스펙트로그램 패치를 사용하여 엔드 투 엔드로 훈련되며, 목표는 음성 영역를 나타내는 이진 마스크이다.
• 아키텍처는 계층적인 스펙트럼 패턴 표현을 학습함으로써 새의 부르짖음과 비생물학적·생물학적 소음을 구분할 수 있다.
• 훈련 중 재구성 손실를 최소화함으로써 오토인코더가 소리의 발화와 관련된 유의미한 스펙트럼 구조만 유지하도록 유도된다.
• 훈련 후 이진 마스크를 사용하여 원본 스펙트로그램에서 새의 소리 이벤트를 추출하고 국소화한다.
• 추론 과정에서 빠르게 작동하여 대규모 음성 데이터셋 처리에 적합하다.

실험 결과

연구 질문

• RQ1 깊이 있는 오토인코더는 간섭원의 사전 지식 없이도 복잡한 실제 음향 소음 환경에서 새의 소리를 효과적으로 분리할 수 있는가?
• RQ2 모델은 다양한 환경 조건과 음성 품질에서 다양한 새 종을 얼마나 잘 탐지할 수 있는가?
• RQ3 기존의 음성 향상 또는 탐지 기법과 비교할 때 제안된 방법은 정확도와 효율성 면에서 얼마나 우수한가?
• RQ4 최소한의 재훈련으로 다양한 지리적 지역과 기록 설정 간에 일반화 가능한가?
• RQ5 효과적인 구현을 위해 얼마나 많은 인간 애너테이션이 필요한가? 그리고 최소한의 감독으로 시스템이 작동할 수 있는가?

주요 결과

• 딥 오토인코더는 매우 소음이 많은 환경에서도 스펙트로그램에서 새의 소리를 정확하게 국소화하는 이진 마스크를 성공적으로 학습한다.
• 바람, 비, 인간이 만든 소음 등 새 외의 소리를 억제함으로써 높은 탐지 정확도를 달성한다.
• 모델은 전체 음성 애너테이션 없이 약한 레이블이 부여된 스펙트로그램 패치로 훈련되기 때문에 인간의 감독이 최소한으로 필요하다.
• 추론 속도가 매우 빨라 대규모 장시간 음성 기록을 실용적인 시간 내에 처리할 수 있다.
• 자동화되고 대규모의 새 소리 분석을 가능하게 하여 생태학적 연구 및 보존 의사결정 지원에 기여한다.
• 다양한 기록 조건에 걸쳐 일반화되며 배경 소음과 소리 유형의 변동성에 대해 뛰어난 강건성을 보여준다.