[논문 리뷰] Leveraging tropical reef, bird and unrelated sounds for superior transfer learning in marine bioacoustics

Ben Williams, Bart van Merriënboer외 13명|arXiv (Cornell University)|2024. 04. 25.

Underwater Acoustics Research인용 수 5

한 줄 요약

본 연구는 새 소리, 산호초 소리, 무관한 소리를 포함한 교차 도메인 사전학습이 해양 생물음향학에서의 전이 학습 성능을 우수하게 만들며, SurfPerch가 저주석 PAM 작업에 강력한 사전학습 모델로 작용한다는 것을 보여준다.

ABSTRACT

Machine learning has the potential to revolutionize passive acoustic monitoring (PAM) for ecological assessments. However, high annotation and compute costs limit the field's efficacy. Generalizable pretrained networks can overcome these costs, but high-quality pretraining requires vast annotated libraries, limiting its current applicability primarily to bird taxa. Here, we identify the optimum pretraining strategy for a data-deficient domain using coral reef bioacoustics. We assemble ReefSet, a large annotated library of reef sounds, though modest compared to bird libraries at 2% of the sample count. Through testing few-shot transfer learning performance, we observe that pretraining on bird audio provides notably superior generalizability compared to pretraining on ReefSet or unrelated audio alone. However, our key findings show that cross-domain mixing which leverages bird, reef and unrelated audio during pretraining maximizes reef generalizability. SurfPerch, our pretrained network, provides a strong foundation for automated analysis of marine PAM data with minimal annotation and compute costs.

연구 동기 및 목표

• 생태 평가를 위한 수동 음향 모니터링(PAM)에서 주석(annotation)과 계산 비용을 줄이려는 동기를 부여한다.
• 데이터가 부족한 산호초 생물음향학에 대한 최적의 사전학습(pretraining) 전략을 식별한다.
• 종과 음원 유형에 걸친 교차 도메인 사전학습으로 일반화 이득을 평가한다.
• 해양 PAM 분석의 기초로서 사전학습 네트워크 SurfPerch를 제공한다.

제안 방법

• 산호초 소리의 대규모 주석 라이브러리 ReefSet를 구성한다(샘플 수로 보면 새 라이브러리 규모의 2%).
• 새, ReefSet, 무관한 오디오에서의 사전학습을 비교하기 위해 소수 샷 전이 학습 성능을 평가한다.
• 전처리(pretraining) 중 새, 산호초, 무관한 오디오를 결합한 교차 도메인 혼합이 산호초 일반화성을 극대화하는지 테스트한다.
• 자동 해양 PAM 분석을 위한 사전학습 네트워크 SurfPerch를 개발하고 공개한다.

실험 결과

연구 질문

• RQ1 산호초 관련 해양 생물음향 작업에 대해 어떤 사전학습 소스가 가장 좋은 일반화를 제공하는가?
• RQ2 도메인 간 혼합(새, 산호초, 무관한 소리)이 산호초 탐지에 대한 전이 학습을 향상시키는가?
• RQ3 교차 도메인 데이터로 학습된 사전학습 네트워크가 해양 PAM에서 주석 및 계산 비용을 줄일 수 있는가?

주요 결과

• 새 오디오에서의 사전학습은 ReefSet이나 무관한 오디오만으로 학습한 경우보다 산호초 데이터에 대해 현저히 우수한 일반화를 제공한다.
• 사전학습 중 교차 도메인 혼합이 산호초 일반화를 극대화한다.
• SurfPerch는 주석 및 계산 비용을 최소화한 자동 해양 PAM 분석의 강력한 기초가 된다.