[论文解读] Leveraging tropical reef, bird and unrelated sounds for superior transfer learning in marine bioacoustics

Ben Williams, Bart van Merriënboer+13 more|arXiv (Cornell University)|Apr 25, 2024

Underwater Acoustics Research被引用 5

一句话总结

论文表明，使用鸟类声音、珊瑚礁声音和无关声音的跨域预训练在海洋生物声学的迁移学习中具有更强的表现，其中 SurfPerch 作为低标注 PAM 任务的强大预训练模型。

ABSTRACT

Machine learning has the potential to revolutionize passive acoustic monitoring (PAM) for ecological assessments. However, high annotation and compute costs limit the field's efficacy. Generalizable pretrained networks can overcome these costs, but high-quality pretraining requires vast annotated libraries, limiting its current applicability primarily to bird taxa. Here, we identify the optimum pretraining strategy for a data-deficient domain using coral reef bioacoustics. We assemble ReefSet, a large annotated library of reef sounds, though modest compared to bird libraries at 2% of the sample count. Through testing few-shot transfer learning performance, we observe that pretraining on bird audio provides notably superior generalizability compared to pretraining on ReefSet or unrelated audio alone. However, our key findings show that cross-domain mixing which leverages bird, reef and unrelated audio during pretraining maximizes reef generalizability. SurfPerch, our pretrained network, provides a strong foundation for automated analysis of marine PAM data with minimal annotation and compute costs.

研究动机与目标

• 在生态评估中，推动被动声学监测(PAM)的注释和计算成本下降。
• 为数据匮乏的珊瑚礁生物声学确定最佳预训练策略。
• 评估跨域预训练在不同物种与声音类型上的泛化能力提升。
• 提供一个预训练网络（SurfPerch）作为海洋 PAM 分析的基础。

提出的方法

• 组装 ReefSet，一个大型珊瑚礁声音注释库（按样本数为 bird 库规模的 2%）。
• 评估少-shot 迁移学习性能，以比较在鸟类、ReefSet 和无关音频上的预训练效果。
• 在预训练阶段测试将鸟类、reef 和无关音频混合的跨域混合，以最大化珊瑚礁泛化能力。
• 开发并发布 SurfPerch，一种用于自动化海洋 PAM 分析的预训练网络。

实验结果

研究问题

• RQ1 哪种预训练源可为珊瑚礁相关的海洋生物声学任务提供最佳泛化能力？
• RQ2 跨域混合（鸟类、珊瑚礁与无关声音）是否能提升珊瑚礁物种检测的迁移学习？
• RQ3 基于跨域数据训练的预训练网络是否能降低海洋 PAM 的注释和计算成本？

主要发现

• 在鸟类音频上的预训练在珊瑚礁数据上提供显著更强的泛化能力，相较于仅使用 ReefSet 或无关音频。
• 预训练阶段的跨域混合最大化珊瑚礁的泛化能力。
• SurfPerch 作为自动化海洋 PAM 分析的强大基础，具有最小化注释和计算成本。