[논문 리뷰] GIBBONFINDR: An R package for the detection and classification of acoustic signals

Dena J. Clink, Holger Klinck|arXiv (Cornell University)|2019. 06. 06.

Animal Vocal Communication and Behavior인용 수 6

한 줄 요약

GIBBONFINDR는 생태학자들이 기계학습 알고리즘을 사용하여 음향 신호를 탐지하고 분류할 수 있도록 해주는 오픈소스 R 패키지입니다. 말레이시아 사바주 산다움밸리 자연보호구역에서 장기적인 피아식적 음향 모니터링 데이터를 대상으로 한 사례 연구를 통해 보부리원숭이 울음소리를 효과적으로 식별하는 데 성공함을 보여줍니다. 이 패키지는 R에서 신호 처리 및 분류 워크플로우를 간소화하여 비전문가 사용자도 생음향 분석에 접근하기 쉽게 만듭니다.

ABSTRACT

The recent improvements in recording technology, data storage and battery life have led to an increased interest in the use of passive acoustic monitoring for a variety of research questions. One of the main obstacles in implementing wide scale acoustic monitoring programs in terrestrial environments is the lack of user-friendly, open source programs for processing large sound archives. Here we describe the new, open-source R package GIBBONFINDR which has functions for detection, classification and visualization of acoustic signals using a variety of readily available machine learning algorithms in the R programming environment. We provide a case study showing how GIBBONFINDR functions can be used in a workflow to detect and classify Bornean gibbon (Hylobates muelleri) calls in long-term acoustic data sets recorded in Danum Valley Conservation Area, Sabah, Malaysia. Machine learning is currently one of the most rapidly growing fields-- with applications across many disciplines-- and our goal is to make commonly used signal processing techniques and machine learning algorithms readily available for ecologists who are interested in incorporating bioacoustics techniques into their research.

연구 동기 및 목표

• 지속적인 생태학적 연구에서 대규모 음향 데이터를 처리하는 데 도전하는 문제를 해결하기 위해.
• 비전문가 생태학자들이 기계학습을 생음향 데이터에 적용할 수 있도록 사용자 친화적이고 오픈소스인 도구를 제공하기 위해.
• 광범위하게 사용되는 신호 처리 및 분류 기법들을 단일 R 기반 워크플로우에 통합하기 위해.
• 보부리원숭이 울음소리에 대한 실제 사례 연구를 통해 패키지의 유용성을 입증하기 위해.

제안 방법

• 패키지는 오디오 파일에서 필터링, 세그먼테이션, 특징 추출을 위한 신호 처리 함수의 세트를 구현합니다.
• 랜덤 포레스트 및 서포트 벡터 머신과 같은 다수의 기계학습 알고리즘을 R 환경 내에서 분류 작업에 통합합니다.
• 음향 데이터는 시간적 및 스펙트럼적 패턴을 표현하기 위해 스펙트로그램 기반 특징 추출을 통해 처리됩니다.
• 레이블이 부여된 울음소리 예제를 기반으로 모델을 훈련시켜 자동으로 발성 신호를 탐지할 수 있도록 지원합니다.
• 검출된 신호와 모델 출력물을 시각화할 수 있도록 시각화 기능이 포함되어 있습니다.
• 워크플로우는 모듈식이고 확장 가능하도록 설계되어 있으며, 데이터 입출력 및 분석을 위한 다른 R 패키지와의 통합을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 GIBBONFINDR는 장기적인 피아식적 음향 모니터링 데이터에서 보부리원숭이 울음소리를 효과적으로 탐지하고 분류할 수 있는가?
• RQ2 탐지 정확도와 처리 효율성 측면에서 GIBBONFINDR의 성능은 수작업 애너테이션과 비교해 어떻게 되는가?
• RQ3 프로그래밍이나 기계학습 전문 지식이 제한된 생태학자들이 이 패키지를 얼마나 잘 활용할 수 있는가?
• RQ4 장기간에 걸쳐 수집된 대규모 오디오 아카이브를 처리하는 데 있어 패키지의 확장성은 어느 정도인가?

주요 결과

• GIBBONFINDR는 산다움밸리 자연보호구역에서 수집한 장기적인 음향 기록에서 보부리원숭이 울음소리를 성공적으로 탐지하여 실제 현장 적용에서의 유용성을 입증하였습니다.
• 수작업 방법에 비해 대규모 오디오 데이터셋을 분석하는 데 소요되는 시간을 크게 줄였습니다.
• R 내부에 기계학습 모델을 통합함으로써 생음향 분석을 위한 재현 가능하고 투명한 워크플로우를 가능하게 하였습니다.
• 프로그래밍 경험이 적은 사용자들도 제공된 함수와 문서를 활용해 탐지 및 분류 워크플로우를 성공적으로 구현할 수 있었습니다.
• 사례 연구를 통해 스펙트로그램 기반 특징과 훈련된 모델을 사용하여 보부리원숭이 울음소리를 정확하게 분류할 수 있음을 확인하였습니다.
• GIBBONFINDR의 오픈소스 성격은 생태학적 음향 연구 분야에서 투명성, 확장성, 커뮤니티 기반 개선을 촉진합니다.