[논문 리뷰] All Thresholds Barred: Direct Estimation of Call Density in Bioacoustic Data

Amanda K. Navine, Tom Denton외 2명|arXiv (Cornell University)|2024. 02. 23.

Animal Vocal Communication and Behavior인용 수 4

한 줄 요약

이 논문은 분류기 점수의 베이지안 모델링을 사용하여 생물음성 데이터에서 직접적으로 叫부르기 밀도를 추정하는 임계값 없는 방법을 제안한다. 이는 가짜 양성 및 가짜 음성으로 인한 편향을 피함으로써 다양한 叫부르기 밀도와 모델 품질에서 안정적인 성능을 보이며, 분포 이탈을 고려한 검증 체계를 통해 분포 이탈이 발생하더라도 현장 수준의 밀도 추정이 정확하게 이루어지도록 한다.

ABSTRACT

Passive acoustic monitoring (PAM) studies generate thousands of hours of audio, which may be used to monitor specific animal populations, conduct broad biodiversity surveys, detect threats such as poachers, and more. Machine learning classifiers for species identification are increasingly being used to process the vast amount of audio generated by bioacoustic surveys, expediting analysis and increasing the utility of PAM as a management tool. In common practice, a threshold is applied to classifier output scores, and scores above the threshold are aggregated into a detection count. The choice of threshold produces biased counts of vocalizations, which are subject to false positive/negative rates that may vary across subsets of the dataset. In this work, we advocate for directly estimating call density: The proportion of detection windows containing the target vocalization, regardless of classifier score. Our approach targets a desirable ecological estimator and provides a more rigorous grounding for identifying the core problems caused by distribution shifts -- when the defining characteristics of the data distribution change -- and designing strategies to mitigate them. We propose a validation scheme for estimating call density in a body of data and obtain, through Bayesian reasoning, probability distributions of confidence scores for both the positive and negative classes. We use these distributions to predict site-level densities, which may be subject to distribution shifts. We test our proposed methods on a real-world study of Hawaiian birds and provide simulation results leveraging existing fully annotated datasets, demonstrating robustness to variations in call density and classifier model quality.

연구 동기 및 목표

• 수동 음성 모니터링(PAM) 데이터에서 임계값 기반 탐지 수의 편향을 해결한다.
• 분류기 점수의 임계값에 의존하지 않고 직접적으로 叫부르기 밀도 $P(\oplus)$, 즉 목표 발성행동이 있는 탐지 윈도우의 비율을 추정하는 방법을 개발한다.
• 기존의 임계값 기반 탐지에 혼동을 일으키는 분포 이탈—장소나 시간에 따른 데이터 분포 변화—를 다루는 철저한 프레임워크를 제공한다.
• 분류기 아티팩트가 아닌 진정한 발성 빈도를 반영하는 현장 수준의 叫부르기 밀도 추정을 통해 생태학적으로 의미 있는 추론을 가능하게 한다.
• 신뢰구간과 밀도 추정에 대한 확률 분포를 제공함으로써 자원의 적응적 할당을 지원한다.

제안 방법

• 양성($P(z|\oplus)$) 및 음성($P(z|\ominus)$) 클래스의 확률 분포를 추정하기 위해 분류기 점수를 베이지안 추론으로 모델링한다.
• 분류기 출력의 구간 검증을 통해 연구 대상 집단의 점수 누적분포를 추정함으로써, 임계값 없이도 밀도 추정이 가능하도록 한다.
• 전체 확률의 법칙을 적용하여 가짜 양성 및 가짜 음성 비율을 고려한 탐지율 $P(z>t)$와 진짜 叫부르기 밀도 $P(\oplus)$ 간의 관계를 수립한다.
• 분류기 점수를 여러 구간(예: 4개 구간)으로 나누어 검증하는 전략을 적용함으로써 극단적인 로짓 값에 의한 편향을 줄이며, 특히 노이즈가 많은 환경에서의 영향을 완화한다.
• 연구 수준 및 현장 수준의 검증 데이터를 사용하여 현장별 叫부르기 밀도를 추정하고, 분포 이탈을 다루기 위해 치환 가정을 적용한다.
• 이산적 추정 방식의 대안으로 연속 분포 추정(예: 커널 밀도 추정)을 활용하여 바람이 많은 산지와 같은 고밀도 지역의 특성을 더 잘 포착할 수 있도록 한다.

Figure 1 : Root mean squared error (RMSE) between detection rates at various thresholds and true call density $P(\oplus)$ , using synthetic data and a model with 0.9 ROC-AUC. Notice that the optimal threshold depends on $P(\oplus)$ , which may vary across sites. Dotted lines indicate RMSE for the pr

실험 결과

연구 질문

• RQ1 생물음성 모니터링에서 임의의 분류기 점수 임계값에 의존하지 않고 叫부르기 밀도를 어떻게 직접 추정할 수 있는가?
• RQ2 환경적, 시간적, 행동적 변화로 인한 분포 이탈이 임계값 기반 탐지 수에 어느 정도 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ3 분류기 점수 분포에 대한 베이지안 프레임워크가 다양한 생태 조건에서 더 정확하고 강인한 叫부르기 밀도 추정을 가능하게 하는가?
• RQ4 검증용 구간 나누기 전략의 선택이 특히 노이즈가 많은 환경에서의 叫부르기 밀도 추정 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 불확실성 정량화와 함께 세부적인 현장 수준의 밀도 추정을 가능하게 하여 실질적인 야생 생물 관리 결정을 지원할 수 있는가?

주요 결과

• 제안된 임계값 없는 방법은 실제 하와이 조류 데이터를 대상으로 한 검증을 통해 다양한 叫부르기 밀도와 분류기 품질에서 강인한 밀도 추정 성능을 확보하였다.
• 바람이 많은 산지(예: 마우나 케아 및 마우나 루아)에서의 분류기 점수는 상당히 상단 구간에 집중되어 있었으며, 이는 바람 노이즈가 분류 기준 특성으로 작용했음을 시사하지만, 이는 叫부르기 밀도 추정 능력을 손상시키지 않았다.
• 4개의 구간과 구간당 200개의 예시를 사용한 결과, ʻUaʻu 탐지의 전부가 상단 구간에 포함되어, 전체적으로도 희귀한 상황임에도 불구하고 높은 감도를 보였다.
• 단일 임계값에 의존하는 것 대신 분류기 점수의 전체 분포를 모델링함으로써 가짜 양성 및 가짜 음성으로 인한 편향을 줄였다.
• 환경 노이즈나 행동 변화로 인한 분포 이탈이 발생하더라도 현장 수준의 叫부르기 밀도 추정치는 안정적이고 유의미한 결과를 보였다.
• 낮은 시간 비용으로 叫부르기 밀도 추정이 가능하여 실시간 야생 생물 모니터링 및 모기 퇴치와 같은 보존 조치의 평가를 위한 실질적인 지원이 가능해졌다.

Figure 2 : A schematic of our direct call density estimation method at (A) the study-level using our validation scheme and (B) the site- or covariate-level using computational Strategy 1.