[论文解读] BIRB: A Generalization Benchmark for Information Retrieval in Bioacoustics

Jenny Hamer, Eleni Triantafillou+5 more|arXiv (Cornell University)|Dec 12, 2023

Animal Vocal Communication and Behavior被引用 5

一句话总结

BIRB 为评估机器学习模型在生物声学信息检索中的泛化能力，引入了一个真实且复杂的基准，重点关注在公民科学（目标）录音与真实世界被动声学景观之间分布变化下的泛化性能。该基准采用表示学习与最近邻质心搜索方法检索鸟类鸣叫，揭示了在协变量偏移和标签噪声下性能显著下降，尤其在稀有物种和未见区域中表现更差。

ABSTRACT

The ability for a machine learning model to cope with differences in training and deployment conditions--e.g. in the presence of distribution shift or the generalization to new classes altogether--is crucial for real-world use cases. However, most empirical work in this area has focused on the image domain with artificial benchmarks constructed to measure individual aspects of generalization. We present BIRB, a complex benchmark centered on the retrieval of bird vocalizations from passively-recorded datasets given focal recordings from a large citizen science corpus available for training. We propose a baseline system for this collection of tasks using representation learning and a nearest-centroid search. Our thorough empirical evaluation and analysis surfaces open research directions, suggesting that BIRB fills the need for a more realistic and complex benchmark to drive progress on robustness to distribution shifts and generalization of ML models.

研究动机与目标

• 为解决生物声学领域中缺乏真实基准以评估模型泛化能力的问题，特别是针对训练数据与部署数据之间的分布变化。
• 构建一个全面的基准，整合多种泛化特性（如协变量偏移、标签噪声和类别不平衡）于单一复杂评估框架中。
• 通过支持真实世界、大规模、未标注的音频实地数据（涵盖多样声学环境）的模型评估，服务于机器学习与保护研究社区。
• 识别并量化不同泛化挑战的相对影响，如录音模式差异（目标 vs. 被动）、标签质量以及地理特异性。
• 通过提供一个标准化、开放的基准（包含多样化区域声学景观与精心筛选的训练数据），推动面向保护应用的稳健、可部署模型的发展。

提出的方法

• 使用三种数据类型构建基准：XC Focal（公民科学，高质量标签）、XC Background（众包，噪声更大的标签）以及区域声学景观（专家标注，信噪比低，被动录音）。
• 通过 AudioMAE 和 S EfficientNet 模型应用表示学习，将音频片段嵌入共享嵌入空间以支持检索。
• 采用最近邻质心搜索策略，基于每类提供的少量样本片段检索目标鸣叫。
• 在多个评估区域（如纽约州、夏威夷、哥伦比亚/哥斯达黎加、秘鲁、内瓦达山脉）评估模型性能，涵盖不同数据可得性与标签保真度。
• 引入三种评估设置：Artificially Rare（训练中未包含的稀有物种）、Heldout（整个区域未出现在上游数据中）以及物种可得性分解，以评估数据稀缺下的泛化能力。
• 使用 cROC-AUC 作为主要指标，比较不同数据划分、模型架构与数据源下的模型性能。

Figure 1: A schematic representation of the evaluation procedure (left) and our baseline system (right). Note that amecro is the species code for the American crow and is part of the query.

实验结果

研究问题

• RQ1 在录音条件不同、信噪比更低的真实世界被动声学景观中，基于公民科学目标录音训练的模型在泛化能力上表现如何？
• RQ2 标签噪声、协变量偏移与数据稀缺对生物声学检索任务中模型性能的相对影响是什么？
• RQ3 当模型在训练期间未见过的地理区域进行评估时，性能如何变化，特别是对于上游训练数据中不存在的物种？
• RQ4 在大规模、多样化公民科学数据（XC）上进行预训练，在提升对被动声学景观中稀有或未见物种的泛化能力方面有多大作用？
• RQ5 在不同数据可得性与标签质量条件下，不同模型架构（如 AudioMAE、S EfficientNet）及微调策略的表现如何？

主要发现

• 在 XC Focal 数据上训练的模型在部署到被动声学景观时性能显著下降，尤其在物种或录音条件无重叠的区域中表现更差。
• XC Background 数据库因标签噪声与标注质量较低，带来了最高的泛化挑战，尽管其与 XC Focal 的性能差异在统计上并不总是显著。
• 在未见区域（如夏威夷岛、哥伦比亚与哥斯达黎加）的性能显著低于已见区域，表明存在强烈的协变量偏移效应。
• 尽管数据质量与来源存在差异，AudioMAE（微调后）与 S EfficientNet 模型在纽约州人工稀有物种上的表现几乎无法区分，表明在特定条件下对数据来源具有鲁棒性。
• 在美国内华达山脉与秘鲁的未见物种中，cROC-AUC 值表现出高度变异性，已见与未见物种之间无一致趋势，表明鸣叫特征与模型泛化能力之间存在复杂相互作用。
• 该基准揭示，当前模型在稀有物种与未见地理区域上表现最差，凸显了在生物声学机器学习中改进数据增强、自监督预训练与领域自适应技术的迫切需求。

Figure 2: A comparison of using exemplars (E), i.e. $k\in\{1,2,...\}$ , and the learned representation (LR) for Artificially Rare species from the New York State, USA region. The learned representation is derived from each model’s learned weight vector for that species.