[論文レビュー] All Thresholds Barred: Direct Estimation of Call Density in Bioacoustic Data

Amanda K. Navine, Tom Denton+2 more|arXiv (Cornell University)|Feb 23, 2024

Animal Vocal Communication and Behavior被引用数 4

ひとこと要約

この論文は、分類器スコアのベイジアンモデリングを用いて、バイアスを引き起こす偽陽性や偽陰性を回避する、しきい値に依存しない方法で、生物音声データにおける通話密度を直接推定することを提案する。変動する通話密度やモデル品質の下でも頑健な性能を示し、分布シフトに対応できる検証スキームを備えることで、サイトレベルの密度推定が正確に可能となる。

ABSTRACT

Passive acoustic monitoring (PAM) studies generate thousands of hours of audio, which may be used to monitor specific animal populations, conduct broad biodiversity surveys, detect threats such as poachers, and more. Machine learning classifiers for species identification are increasingly being used to process the vast amount of audio generated by bioacoustic surveys, expediting analysis and increasing the utility of PAM as a management tool. In common practice, a threshold is applied to classifier output scores, and scores above the threshold are aggregated into a detection count. The choice of threshold produces biased counts of vocalizations, which are subject to false positive/negative rates that may vary across subsets of the dataset. In this work, we advocate for directly estimating call density: The proportion of detection windows containing the target vocalization, regardless of classifier score. Our approach targets a desirable ecological estimator and provides a more rigorous grounding for identifying the core problems caused by distribution shifts -- when the defining characteristics of the data distribution change -- and designing strategies to mitigate them. We propose a validation scheme for estimating call density in a body of data and obtain, through Bayesian reasoning, probability distributions of confidence scores for both the positive and negative classes. We use these distributions to predict site-level densities, which may be subject to distribution shifts. We test our proposed methods on a real-world study of Hawaiian birds and provide simulation results leveraging existing fully annotated datasets, demonstrating robustness to variations in call density and classifier model quality.

研究の動機と目的

• 受動的音声モニタリング（PAM）データにおけるしきい値ベースの検出数が引き起こすバイアスを解消すること。
• 分類器スコアのしきい値に依存しない、直接的な通話密度 $P(\oplus)$（対象の発声が観測される検出ウィンドウの割合）の推定手法を開発すること。
• 従来のしきい値ベースの検出を混乱させる要因となる、データ分布の変化（サイト間や時間的変化）を扱う厳密なフレームワークを提供すること。
• 分類器のアーティファクトではなく、真の発声頻度を反映するサイトレベルの通話密度を推定することで、生態学的に意味のある推論を可能にすること。
• 信頼区間と確率分布を提供することで、資源の適応的配分を支援し、生物音声学的モニタリングにおける意思決定を支援すること。

提案手法

• 分類器スコアをベイジアン推論でモデリングし、陽性（$P(z|\oplus)$）および陰性（$P(z|\ominus)$）クラスの確率分布を推定する。
• 分類器出力のビン化された検証を用いて、研究対象集団全体のスコアの累積分布を推定し、しきい値に依存しない密度推定を可能にする。
• 全確率の法則を適用して、検出率 $P(z>t)$ を真の通話密度 $P(\oplus)$ に関連づけ、偽陽性および偽陰性率を補正する。
• 複数のビン（例：4ビン）を用いた検証スキームを実装し、特にノイズの高い環境下で極端なログオッズによるバイアスを低減する。
• 研究レベルおよびサイトレベルの検証データを用いて、サイト固有の通話密度を推定し、分布シフトに対処するために代入仮定を適用する。
• ビン化推定の代替手段として、連続分布推定（例：カーネル密度推定）を活用し、風の強い山岳地帯のような高密度領域をよりよく捉える。

Figure 1 : Root mean squared error (RMSE) between detection rates at various thresholds and true call density $P(\oplus)$ , using synthetic data and a model with 0.9 ROC-AUC. Notice that the optimal threshold depends on $P(\oplus)$ , which may vary across sites. Dotted lines indicate RMSE for the pr

実験結果

リサーチクエスチョン

• RQ1 生物音声学的モニタリングにおいて、任意の分類器スコアのしきい値に依存せずに、どのようにして通話密度を直接推定できるか？
• RQ2 環境的、時間的、行動的要因による分布シフトが、しきい値ベースの検出数にどの程度影響を及ぼし、その影響をどのように軽減できるか？
• RQ3 分類器スコア分布のベイジアンフレームワークは、多様な生態的条件下で、より正確かつ頑健な通話密度推定を可能にするか？
• RQ4 検証用ビン分割戦略の選択が、特に高ノイズ環境下での通話密度推定の正確性にどのように影響するか？
• RQ5 提案手法は、不確実性の定量化を伴う細粒度のサイトレベル密度推定を可能にすることで、意思決定に役立つ野生生物管理意思決定を支援できるか？

主な発見

• 提案されたしきい値に依存しない手法は、実世界のハワイアン鳥類データを用いた検証において、変動する通話密度や分類器の品質の下でも、頑健な通話密度推定を達成した。
• 風の強い山岳地帯（例：マウナケアおよびマウナロア）の分類器スコアは、上位ビンに集中しており、風のノイズが識別的特徴として機能していることが示されたが、これにより通話密度の推定能力が損なわれなかった。
• 4ビンと1ビンあたり200例の設定で、すべての ʻUaʻu 発見が上位ビンに収束した。これは、全体の出現頻度が低くても高い感度を示している。
• 単一のしきい値に依存するのではなく、分類器スコアの全分布をモデリングすることで、偽陽性および偽陰性によるバイアスを低減した。
• 分布シフト（環境的ノイズや行動的変動に起因）が生じても、サイトレベルの通話密度推定値は安定的かつ情報的であった。
• 時間コストが低く抑えられたため、行動的でリアルタイムな野生生物モニタリングが可能となり、マラリア蚊駆除などの保護介入の評価にも対応できるようになった。

Figure 2 : A schematic of our direct call density estimation method at (A) the study-level using our validation scheme and (B) the site- or covariate-level using computational Strategy 1.