[論文レビュー] Leveraging tropical reef, bird and unrelated sounds for superior transfer learning in marine bioacoustics

Ben Williams, Bart van Merriënboer+13 more|arXiv (Cornell University)|Apr 25, 2024

Underwater Acoustics Research被引用数 5

ひとこと要約

本論文は、鳥、珊瑚礁の音、無関係な音を用いたドメイン横断の事前学習が海洋生物音響学における転移学習を優位に高め、低アノテーションのPAMタスクに対して SurfPerch が強力な事前学習済みモデルとなることを示している。

ABSTRACT

Machine learning has the potential to revolutionize passive acoustic monitoring (PAM) for ecological assessments. However, high annotation and compute costs limit the field's efficacy. Generalizable pretrained networks can overcome these costs, but high-quality pretraining requires vast annotated libraries, limiting its current applicability primarily to bird taxa. Here, we identify the optimum pretraining strategy for a data-deficient domain using coral reef bioacoustics. We assemble ReefSet, a large annotated library of reef sounds, though modest compared to bird libraries at 2% of the sample count. Through testing few-shot transfer learning performance, we observe that pretraining on bird audio provides notably superior generalizability compared to pretraining on ReefSet or unrelated audio alone. However, our key findings show that cross-domain mixing which leverages bird, reef and unrelated audio during pretraining maximizes reef generalizability. SurfPerch, our pretrained network, provides a strong foundation for automated analysis of marine PAM data with minimal annotation and compute costs.

研究の動機と目的

• 生態系評価のための受動音響モニタリング（PAM）におけるアノテーションと計算コストの削減を動機付ける。
• データ不足の珊瑚礁生物音響学に対して最適な事前学習戦略を特定する。
• 分類群と音のタイプを横断するドメイン横断事前学習からの一般化能力の向上を評価する。
• 海洋PAM分析の基盤として事前学習済みネットワーク（SurfPerch）を提供する。

提案手法

• リーフ音の大規模な注釈付きライブラリ ReefSet を組み立てる（サンプル数ベースで鳥ライブラリの2%）。
• 鳥、 ReefSet、無関係な音声での事前学習を比較するために、少数ショット転移学習の性能を評価する。
• 事前学習中に鳥、珊瑚礁、無関係な音声を組み合わせたドメイン横断のミキシングをテストして、珊瑚礁の一般化性を最大化する。
• 自動化された海洋PAM分析のための事前学習済みネットワーク SurfPerch を開発・公開する。

実験結果

リサーチクエスチョン

• RQ1 珊瑚礁に関連する海洋生物音響タスクに対して最も良い一般化をもたらす事前学習元はどれか？
• RQ2 ドメイン横断の混合（鳥、珊瑚礁、無関係な音）は珊瑚礁種の検出に対する転移学習を改善するか。
• RQ3 ドメイン横断データで学習された事前学習済みネットワークは海洋PAMにおけるアノテーションと計算コストを削減できるか。

主な発見

• 鳥の音声での事前学習は、 ReefSet や無関係な音だけで学習した場合と比べて、珊瑚礁データに対する一般化能力を著しく高める。
• 事前学習時のドメイン横断ミキシングは珊瑚礁の一般化能力を最大化する。
• SurfPerch は、最小限のアノテーションと計算コストで自動化された海洋PAM分析の強力な基盤となる。