[论文解读] Few-shot bioacoustic event detection at the DCASE 2023 challenge

Inês Nolasco, Burooj Ghani+13 more|arXiv (Cornell University)|Jun 15, 2023

Animal Vocal Communication and Behavior被引用 6

一句话总结

本文介绍了2023年DCASE少样本生物声学事件检测挑战赛，该比赛要求系统仅使用每类目标的五个标注样本检测动物发声。研究评估了多种少样本学习方法——如原型网络、对比学习以及基于BEATs的模型——最高F值达到63%，相比往年有显著进步。

ABSTRACT

Few-shot bioacoustic event detection consists in detecting sound events of specified types, in varying soundscapes, while having access to only a few examples of the class of interest. This task ran as part of the DCASE challenge for the third time this year with an evaluation set expanded to include new animal species, and a new rule: ensemble models were no longer allowed. The 2023 few shot task received submissions from 6 different teams with F-scores reaching as high as 63% on the evaluation set. Here we describe the task, focusing on describing the elements that differed from previous years. We also take a look back at past editions to describe how the task has evolved. Not only have the F-score results steadily improved (40% to 60% to 63%), but the type of systems proposed have also become more complex. Sound event detection systems are no longer simple variations of the baselines provided: multiple few-shot learning methodologies are still strong contenders for the task.

研究动机与目标

• 解决在生物声学中仅用极少标注数据检测稀有或新发动物发声的挑战。
• 通过使模型能够从少量样本中泛化，克服生物声学研究中的数据稀缺与标注负担问题。
• 评估少样本学习范式在跨数据集、跨物种生物声学事件检测中的有效性。
• 通过引入并测试新型架构与训练策略，推动音频少样本学习的最新技术水平。
• 评估模型在多样化声学环境、物种及录音条件下的泛化能力。

提出的方法

• 采用N类-k-shot分类，其中在推理时为每个目标类别提供k=5个样本以实现模型适配。
• 在14个多样化数据集上采用统一的训练策略，涵盖鸟类、哺乳动物、两栖动物和昆虫，每个数据集具有独特的录音条件。
• 对原型网络进行改进，如引入挤压/激励（SE）模块和负样本搜索，以提升原型学习效果。
• 采用对比学习方法，通过最大化正样本对与负样本对之间的分离度，学习判别性嵌入表示。
• 利用BEATs——一种预训练的音频Transformer模型——作为特征编码器，以提升低资源数据上的表征学习能力。
• 在学习到的嵌入上应用模板匹配与动态时间规整（DTW），基于时间对齐检测事件发生位置。

Figure 1: Overview of the proposed few-shot bioacoustic event detection task at the DCASE challenge. Green and purple rectangles represent labelled and predicted events, respectively.

实验结果

研究问题

• RQ1 当每类仅提供五个样本时，不同少样本学习方法在检测生物声学事件方面的表现如何？
• RQ2 单一统一模型在仅需极少上下文适应的情况下，能在多大程度上泛化于多样化动物物种与录音条件？
• RQ3 架构选择（如SE模块、对比学习或预训练编码器）如何影响少样本检测性能？
• RQ4 输入特征选择（如Delta MFCC、PCEN）在少样本学习用于生物声学检测中起到何种作用？
• RQ5 为何QU数据集（海豚鸣叫）尽管整体F值提升，仍持续具有挑战性？

主要发现

• 表现最佳的系统在测试集上达到63%的F值，相比2022年的60%和2021年的40%有显著提升。
• 对比学习展现出强大性能，Moummad_IMT的系统通过微调嵌入表示并在嵌入空间中进行二分类实现优异效果。
• XuQianHu_NUDT的模型中引入挤压/激励（SE）模块，通过通道级特征重校准，使性能优于基线原型网络。
• 基于BEATs的模型展现出强大的泛化潜力，对ECS50数据集进行微调可提升嵌入质量，从而增强下游检测性能。
• QU数据集（海豚鸣叫）仍是最具挑战性的，所有团队均取得较低的F值，表明其短事件持续时间与高噪声环境带来的困难。
• 采用负样本搜索及新型损失函数（如Jung_KT的基于负样本的原型损失）的系统在少样本学习中对类别不平衡问题表现出更强鲁棒性。

Figure 2: F-Score results by team (best submission only). Systems are ordered from least to highest scoring rank on the evaluation set.