[论文解读] Generalization in birdsong classification: impact of transfer learning methods and dataset characteristics

Burooj Ghani, Vincent J. Kalkman+4 more|arXiv (Cornell University)|Sep 21, 2024

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本研究评估了迁移学习方法——微调与知识蒸馏——在多样化数据集和模型架构（卷积神经网络与Transformer）下的鸟类鸣叫声分类表现。研究发现，浅层微调在新声音景观中的泛化能力更强，而跨蒸馏则提升了在Xeno-canto数据上的域内性能；作者提倡采用全面标注，包括背景物种和时间标注，以增强模型鲁棒性。

ABSTRACT

Animal sounds can be recognised automatically by machine learning, and this has an important role to play in biodiversity monitoring. Yet despite increasingly impressive capabilities, bioacoustic species classifiers still exhibit imbalanced performance across species and habitats, especially in complex soundscapes. In this study, we explore the effectiveness of transfer learning in large-scale bird sound classification across various conditions, including single- and multi-label scenarios, and across different model architectures such as CNNs and Transformers. Our experiments demonstrate that both fine-tuning and knowledge distillation yield strong performance, with cross-distillation proving particularly effective in improving in-domain performance on Xeno-canto data. However, when generalizing to soundscapes, shallow fine-tuning exhibits superior performance compared to knowledge distillation, highlighting its robustness and constrained nature. Our study further investigates how to use multi-species labels, in cases where these are present but incomplete. We advocate for more comprehensive labeling practices within the animal sound community, including annotating background species and providing temporal details, to enhance the training of robust bird sound classifiers. These findings provide insights into the optimal reuse of pretrained models for advancing automatic bioacoustic recognition.

研究动机与目标

• 评估迁移学习方法（微调与知识蒸馏）在多样化数据集和模型架构下对鸟类鸣叫分类的影响。
• 评估模型在复杂真实声音景观与精选训练数据之间的泛化性能。
• 研究多物种标注（特别是对背景物种的不完整或弱标签）对分类器性能的影响。
• 识别生物声学数据集数据整理的最佳实践，以提升模型鲁棒性与可迁移性。
• 确定在不同数据与任务条件下（单标签与多标签），知识蒸馏或微调哪种方法性能更优。

提出的方法

• 在Xeno-canto与Dawn Chorus数据集上，使用迁移学习对预训练音频模型（如Wav2Vec 2.0、HuBERT与Vision Transformers）进行微调。
• 应用知识蒸馏，包括跨蒸馏，将大模型（教师模型）的知识迁移至小模型（学生模型），以提升效率与性能。
• 在单标签与多标签分类设置下评估模型性能，其中包含主要标签（前景物种）与次要标签（背景物种）。
• 以mAP（平均平均精度）与AUC（曲线下面积）为主要评估指标，对离散预测结果应用阈值处理。
• 分析标签完整性与时间标注对模型置信度与泛化能力的影响，特别是在低信噪比环境中的表现。
• 比较不同模型架构（卷积神经网络与Transformer）及数据分布下的模型性能，以评估其鲁棒性与可迁移性。

Figure 1 : Transfer learning strategies. Light-coloured blocks are neural networks being trained; dark-coloured blocks are ‘frozen’ and unchanging during transfer learning. Shallow fine-tuning (top) uses most of the pretrained model as a fixed feature extractor, retraining the final layer(s) on the

实验结果

研究问题

• RQ1 在未见的复杂声音景观与域内数据之间，微调与知识蒸馏在泛化性能方面如何比较？
• RQ2 包含不完整或弱的次要标签（背景物种）对模型精确率、召回率及整体鲁棒性有何影响？
• RQ3 与标准蒸馏或微调相比，跨蒸馏是否能提升多物种鸟类声音分类任务的性能？
• RQ4 时间标注（鸣叫的起始与结束时间）的存在如何影响模型置信度与泛化能力？
• RQ5 标签完整性（特别是对背景物种）在多大程度上影响真实世界监测场景中自动鸟类物种检测的可靠性？

主要发现

• 浅层微调在泛化至新型复杂声音景观方面优于知识蒸馏，表明其具有更强的鲁棒性与受控学习行为。
• 跨蒸馏显著提升了在Xeno-canto数据上的域内性能，尤其在多标签场景中，表明其在密集标注任务中的有效性。
• 引入次要（背景）物种标签虽提升了模型召回率，但降低了精确率，表明灵敏度与准确率之间存在权衡。
• 模型对主要（前景）物种的置信度高于对次要（背景）物种的置信度，可能由于音量、距离及信噪比的差异。
• 尽管标注不完整，但引入次要物种标签仍带来性能提升，支持更全面标注实践的价值。
• mAP在各类设置中保持稳定，表明尽管多标签训练导致置信度下降，但模型对物种可能性排序的能力仍得以保留。

Figure 2 : Geographic distribution of our data sourced from Xeno-canto.