[論文レビュー] BIRB: A Generalization Benchmark for Information Retrieval in Bioacoustics

Jenny Hamer, Eleni Triantafillou+5 more|arXiv (Cornell University)|Dec 12, 2023

Animal Vocal Communication and Behavior被引用数 5

ひとこと要約

BIRBは、市民科学（焦点）の記録と現実世界の受動的音響スケープの間の分布シフトに対する一般化を重視して、機械学習モデルのバイオアコースティック情報検索における現実的で複雑なベンチマークを導入する。表現学習と最近傍重心検索を用いて鳥の鳴き声を検索し、特に希少種や未学習地域において、共変量シフトおよびラベルノイズの下で顕著な性能低下を明らかにする。

ABSTRACT

The ability for a machine learning model to cope with differences in training and deployment conditions--e.g. in the presence of distribution shift or the generalization to new classes altogether--is crucial for real-world use cases. However, most empirical work in this area has focused on the image domain with artificial benchmarks constructed to measure individual aspects of generalization. We present BIRB, a complex benchmark centered on the retrieval of bird vocalizations from passively-recorded datasets given focal recordings from a large citizen science corpus available for training. We propose a baseline system for this collection of tasks using representation learning and a nearest-centroid search. Our thorough empirical evaluation and analysis surfaces open research directions, suggesting that BIRB fills the need for a more realistic and complex benchmark to drive progress on robustness to distribution shifts and generalization of ML models.

研究の動機と目的

• バイオアコースティクスにおけるモデル一般化を評価するための現実的でないベンチマークの欠如に対処すること。特に、学習データと実装データの間の分布シフトに関して。
• 共変量シフト、ラベルノイズ、クラス不均衡といった一般化の複数の側面を1つの複雑な評価フレームワークに統合する包括的ベンチマークを構築すること。
• 多様な音響条件を有する現実世界の大規模なラベルなし音声現地データを用いたモデル評価を可能にするために、MLおよび保全研究コミュニティを支援すること。
• 記録モダリティの違い（焦点 vs. 受動的）、ラベル品質、地理的特異性といった、さまざまな一般化課題の相対的影響を特定および定量化すること。
• 保全応用に向けた堅牢で実装可能なモデルの進歩を促進するため、多様な地域の音響スケープとキュレートされた訓練データを備えた標準化されたオープンベンチマークを提供すること。

提案手法

• XC Focal（市民科学、高品質なラベル）、XC Background（クラウドソーシング、ノイジーなラベル）、地域音響スケープ（専門家アノテーション、低SNR、受動的記録）の3種類のデータタイプを用いてベンチマークを構築する。
• AudioMAEおよびS EfficientNetモデルによる表現学習を適用し、音声クリップを検索用の共有埋め込み空間に埋め込む。
• 各クラスごとに少数の例示クリップを提供することで、最近傍重心検索戦略を用いてターゲットの鳴き声を検索する。
• データ可用性やラベルの信頼性にばらつきがある複数の評価地域（例：ニューヨーク州、ハワイ、コロンビア・コスタリカ、ペルー、シエラネバダ）でモデル性能を評価する。
• 3つの評価設定を導入する：人工的希少（訓練データに含まれない希少種）、ホールドアウト（上流データに含まれない完全な地域）、および種の可用性の分解。これにより、データ不足下での一般化を評価する。
• cROC-AUCを主な指標として用い、異なるデータ分割、モデルアーキテクチャ、データソース間でのモデル性能を比較する。

Figure 1: A schematic representation of the evaluation procedure (left) and our baseline system (right). Note that amecro is the species code for the American crow and is part of the query.

実験結果

リサーチクエスチョン

• RQ1 市民科学の焦点記録で学習したモデルは、記録条件が異なり、信号対ノイズ比が低い現実世界の受動的音響スケープにどの程度一般化するか？
• RQ2 ラベルノイズ、共変量シフト、データ不足が、バイオアコースティック検索タスクにおけるモデル性能に及ぼす相対的影響は何か？
• RQ3 訓練中に見なかった地理的に異なる地域でモデルを評価した場合、特に上流学習データに存在しない種に対して性能はどのように変化するか？
• RQ4 大規模かつ多様な市民科学データ（XC）で事前学習することで、受動的音響スケープにおける希少種や未学習種への一般化がどの程度向上するか？
• RQ5 異なるモデルアーキテクチャ（例：AudioMAE、S EfficientNet）および微調整戦略は、データ可用性やラベル品質の変動下でどのように性能を発揮するか？

主な発見

• XC Focalデータで学習したモデルは、受動的音響スケープに展開した場合、特に種や記録条件に重複のない地域では顕著な性能低下を示す。
• XC Backgroundコホーラスは、ラベルノイズと低いアノテーション品質のため、一般化の課題が最も高いが、XC Focalとの性能差は常に統計的に有意ではない。
• ホールドアウト地域（例：ハワイ諸島、コロンビア・コスタリカ）では、学習済み地域と比較して性能が著しく低く、強い共変量シフト効果が示唆される。
• データ品質やソースの違いにもかかわらず、ニューヨーク州の人工的希少種において、Fine-tuned AudioMAEとS EfficientNetモデルはほぼ区別できない性能を示しており、特定の条件下ではデータソースに頼らない堅牢性が示唆される。
• アメリカのシエラネバダおよびペルーのホールドアウト種では、cROC-AUCに高いばらつきが認められ、利用可能種と不可視種の間で一貫したトレンドはなく、鳴き声の特徴とモデル一般化の複雑な相互作用が示唆される。
• ベンチマークは、現在のモデルが希少種や未学習の地理的領域で最も困難を抱えていることを明らかにし、バイオアコースティックML分野におけるデータ拡張、自己教師付き事前学習、ドメイン適応技術の改善の必要性を強調する。

Figure 2: A comparison of using exemplars (E), i.e. $k\in\{1,2,...\}$ , and the learned representation (LR) for Artificially Rare species from the New York State, USA region. The learned representation is derived from each model’s learned weight vector for that species.