[논문 리뷰] Deep Networks tag the location of bird vocalisations on audio spectrograms

Lefteris Fanioudakis, Ilyas Potamitis|arXiv (Cornell University)|2017. 11. 12.

Animal Vocal Communication and Behavior인용 수 19

한 줄 요약

이 논문은 오디오 스펙트로그램에서 새의 소리 발성 행동을 자동으로 탐지하고 국소화하기 위한 두 가지 딥러닝 접근법을 제안한다: (1) YOLOv2 기반 객체 탐지 프레임워크를 안내하는 데 사용되는 약한 주의 맵을 생성하기 위해 DenseNet을 활용하는 방법, 그리고 (2) 소리 발성 영역을 분할하는 이진 마스크를 예측하기 위해 U-Net 오토에인코드어를 사용하는 방법. 주요 기여는 고정밀도로 새 활동 패턴을 식별할 수 있는, 완전히 자동화되고 인간의 참여가 최소화된 대규모 오디오 데이터 스캔을 위한 파이프라인을 제공한다는 점이다.

ABSTRACT

This work focuses on reliable detection and segmentation of bird vocalizations as recorded in the open field. Acoustic detection of avian sounds can be used for the automatized monitoring of multiple bird taxa and querying in long-term recordings for species of interest. These tasks are tackled in this work, by suggesting two approaches: A) First, DenseNets are applied to weekly labeled data to infer the attention map of the dataset (i.e. Salience and CAM). We push further this idea by directing attention maps to the YOLO v2 Deepnet-based, detection framework to localize bird vocalizations. B) A deep autoencoder, namely the U-net, maps the audio spectrogram of bird vocalizations to its corresponding binary mask that encircles the spectral blobs of vocalizations while suppressing other audio sources. We focus solely on procedures requiring minimum human attendance, suitable to scan massive volumes of data, in order to analyze them, evaluate insights and hypotheses and identify patterns of bird activity. Hopefully, this approach will be valuable to researchers, conservation practitioners, and decision makers that need to design policies on biodiversity issues.

연구 동기 및 목표

• 장기적인 현장 기록에서 새의 소리를 자동으로 탐지하고 분할함으로써 최소한의 인간 간섭을 가능하게 하기.
• 겹치는 소리가 있는 복잡한 청각 환경에서 종별로 특화된 소리 발성을 식별하는 데 도전하는 문제 해결.
• 생태학적 연구에서 대규모 오디오 데이터셋을 처리하는 데 적합한 확장 가능한 딥러닝 방법 개발.
• 대규모 데이터 기반의 새 활동 패턴 분석을 가능하게 하여 보존 활동을 지원하기.
• 종료된 레이블링에 의존하는 것을 줄이기 위해 소리 발성 국소화를 위한 엔드 투 엔드 학습 가능한 모델 도입.

제안 방법

• 주간 레이블이 부여된 오디오 스펙트로그램에 DenseNet을 적용하여 클래스 활성 맵(CAM)과 시각적 중요도 맵를 생성함으로써 주의 국소화를 위한 지침을 제공.
• DenseNet에서 생성한 주의 맵을 YOLOv2 객체 탐지 프레임워크에 통합하여 새 소리 발성의 국소화 정확도 향상.
• 원시 스펙트로그램에서 이진 마스크로 매핑하는 U-Net 오토에인코드어를 훈련시켜 소리 발성에 해당하는 스펙트럼 에너지 블롭을 분리.
• U-Net을 사용해 배경 소음 및 다른 동물의 울음과 같은 비소리 성분을 억제.
• 최소한의 인간 레이블링으로도 대규모 비가공 오디오 기록에서 추론을 위한 양측 모두를 종합적으로 최적화.
• 대규모 데이터셋에 대한 배포를 가능하게 하기 위해 최소한의 인간 감시가 필요한 아키텍처에 집중.

실험 결과

연구 질문

• RQ1 DenseNet에서 생성한 주의 맵을 YOLOv2 탐지기와 통합할 경우, 스펙트로그램에서 새 소리 발성의 국소화 정확도가 향상되는가?
• RQ2 명시적인 바운딩 박스 레이블 없이 U-Net 오토에인코드어가 복잡한 스펙트로그램에서 새 소리 발성을 얼마나 잘 분할할 수 있는가?
• RQ3 이러한 딥러닝 접근법은 인간 레이블링 데이터가 최소한인 환경에서 다양한 청각 환경에서 새 소리 발성을 탐지하고 국소화하는 데 얼마나 효과적인가?
• RQ4 주의 지시와 오토에인코드링의 조합이 생태학적 모니터링을 위한 장기적인 오디오 기록의 확장 가능한 자동 분석을 가능하게 하는가?
• RQ5 인스턴스 수준의 레이블링 없이 스펙트로그램 수준의 감독만으로 달성할 수 있는 성능 수준은 어느 정도인가?

주요 결과

• DenseNet에서 생성한 주의 맵을 YOLOv2에 통합함으로써 기준 탐지 성능에 비해 새 소리 발성의 국소화 정확도가 크게 향상되었다.
• U-Net 오토에인코드어는 배경 소음과 다른 음원을 억제하면서도 새 소리 발성에 해당하는 스펙트럼 에너지 블롭을 정확하게 둘러싸는 이진 마스크를 성공적으로 학습하였다.
• 두 방법 모두 새로운 오디오 데이터에서 높은 성능를 보이며 종, 부르는 유형, 환경적 소음의 변동성에 대해 강건함을 입증하였다.
• 이 방법들은 최소한의 인간 레이블링을 요구하여 생태학적 모니터링을 위한 대규모 오디오 데이터셋의 처리를 확장 가능하게 하였다.
• 제안된 파이프라인은 장기적인 기록에 대한 자동 쿼리 및 분석을 지원하여 생물다양성 패턴 탐지에 기여한다.
• 이 연구는 보존 과학에 실용적인 활용도를 지닌 대규모, 저참여도 생태학적 오디오 분석을 위한 딥러닝의 실현 가능성을 입증한다.