[论文解读] BirdSet: A Large-Scale Dataset for Audio Classification in Avian Bioacoustics

Lukas Rauch, Raphael Schwinger+9 more|arXiv (Cornell University)|Mar 15, 2024

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

BirdSet 为鸟类生物声学中的音频分类引入了一个标准化、大规模的基准，将多种开源数据集统一整合到一个连贯的框架中，支持多类别和多标签分类。它通过一致的测试集、标准化的预处理流程以及与 Hugging Face 的集成，实现了可复现的模型评估，为基于视觉和原始音频的变换器模型建立了基线，从而提升了深度学习在生物声学领域中的可比性和可及性。

ABSTRACT

Deep learning (DL) has greatly advanced audio classification, yet the field is limited by the scarcity of large-scale benchmark datasets that have propelled progress in other domains. While AudioSet is a pivotal step to bridge this gap as a universal-domain dataset, its restricted accessibility and limited range of evaluation use cases challenge its role as the sole resource. Therefore, we introduce BirdSet, a large-scale benchmark dataset for audio classification focusing on avian bioacoustics. BirdSet surpasses AudioSet with over 6,800 recording hours ($\uparrow\!17\%$) from nearly 10,000 classes ($\uparrow\!18 imes$) for training and more than 400 hours ($\uparrow\!7 imes$) across eight strongly labeled evaluation datasets. It serves as a versatile resource for use cases such as multi-label classification, covariate shift or self-supervised learning. We benchmark six well-known DL models in multi-label classification across three distinct training scenarios and outline further evaluation use cases in audio classification. We host our dataset on Hugging Face for easy accessibility and offer an extensive codebase to reproduce our results.

研究动机与目标

• 通过统一分散的数据集和评估协议，解决鸟类生物声学深度学习研究中的碎片化和不一致性问题。
• 建立一个具有统一测试集和训练资源的标准化基准，以提升模型的可比性和可复现性。
• 通过灵活、社区可扩展的框架，支持多种模型架构，包括基于视觉和原始音频的变换器模型。
• 为将来的被动声学监测研究提供基线性能指标和方法论指南。
• 通过提供透明、可重用的代码和 Weights and Biases 的实验追踪，提升新手的可及性。

提出的方法

• 该基准将多个开源鸟类生物声学数据集（主要来自 Xeno-Canto）整合为与 Hugging Face Datasets 兼容的统一格式。
• 它定义了一个标准化的评估流程，包含固定的测试数据集集合和多样化的训练资源，以实现模型的稳定比较。
• 该框架同时支持基于频谱图的模型和原始音频变换器模型，支持不同输入模态的评估。
• 提供了一个数据集创建工具，以促进社区贡献并确保基准的可扩展性。
• 所有实验均通过 Weights and Biases 进行追踪，以确保透明性，代码库托管在 GitHub 上，支持公开重用。
• 全面的文献分析为该框架提供了基础，识别出数据集选择、模型可靠性、训练和评估中的关键挑战。

实验结果

研究问题

• RQ1 不同深度学习架构在标准化的多类别和多标签鸟类鸣叫分类任务中表现如何？
• RQ2 在具有不同录音条件和标注方案的多样化数据集中，模型性能的差异程度如何？
• RQ3 统一的基准能否提升鸟类生物声学研究中的可复现性和可比性？
• RQ4 在该标准化基准上，最先进模型的基线性能指标是什么？
• RQ5 与基于频谱图的模型相比，原始音频模型在鲁棒性和泛化能力方面表现如何？

主要发现

• BirdSet 建立了一个标准化的评估框架，实现了在多个数据集和任务中对深度学习模型的一致比较。
• 基于视觉的模型和原始音频变换器模型均表现出色，后者在处理不同录音条件方面显示出良好潜力。
• 该基准揭示了不同数据集之间存在显著的性能差异，凸显了在真实 PAM 应用中实现鲁棒泛化的重要性。
• 为多种模型架构提供了基线结果，为未来研究和方法论发展提供了参考基准。
• 通过 Hugging Face 整合多样化数据集，确保了社区驱动的数据集贡献在可扩展性和可扩展性方面的支持。
• 通过 Weights and Biases 实现的透明实验追踪增强了可复现性，并促进了方法论的优化。