[论文解读] Few-shot bioacoustic event detection at the DCASE 2022 challenge

Inês Nolasco, Satnam Singh+13 more|Research portal (Tilburg University)|Jul 14, 2022

Music and Audio Processing被引用 5

一句话总结

本文介绍了DCASE 2022年少样本生物声学事件检测挑战赛的第二版，15支团队利用每类仅五个标注样本的条件，开发了检测动物发声的系统。表现最佳的系统通过原型网络、归纳推理和自适应时间建模，实现了60%的F1分数，显著优于去年40%的基线水平，凸显了在长时程未标注生物声学录音中少样本检测技术的进展。

ABSTRACT

Few-shot sound event detection is the task of detecting sound events, despite having only a few labelled examples of the class of interest. This framework is particularly useful in bioacoustics, where often there is a need to annotate very long recordings but the expert annotator time is limited. This paper presents an overview of the second edition of the few-shot bioacoustic sound event detection task included in the DCASE 2022 challenge. A detailed description of the task objectives, dataset, and baselines is presented, together with the main results obtained and characteristics of the submitted systems. This task received submissions from 15 different teams from which 13 scored higher than the baselines. The highest F-score was of 60% on the evaluation set, which leads to a huge improvement over last year's edition. Highly-performing methods made use of prototypical networks, transductive learning, and addressed the variable length of events from all target classes. Furthermore, by analysing results on each of the subsets we can identify the main difficulties that the systems face, and conclude that few-show bioacoustic sound event detection remains an open challenge.

研究动机与目标

• 解决在长时程生物声学录音中检测动物发声的挑战，因标注成本高且专家资源有限。
• 通过针对生物声学中声音事件检测的少样本学习技术改进，超越去年28.45%的基线F1分数。
• 仅使用每类五个正样本，实现在不同物种和录音条件下可变时长事件的检测。
• 在标准化基准上评估和比较多种少样本学习方法，包括原型网络、数据增强和归纳推理。
• 识别少样本生物声学SED中的持续性挑战，如处理可变事件时长，以及在无显式负样本标签情况下构建有效负原型。

提出的方法

• 采用原型网络，仅从每类五个支持样本中学习类别嵌入，实现少样本分类与检测。
• 应用归纳推理，利用完整测试集优化预测，提升泛化能力并增强与真实事件边界的一致性。
• 采用帧级嵌入学习以提升时间分辨率，尤其在短时事件中表现更优。
• 实施自适应输入尺寸和多尺度架构（如宽残差网络、多尺度残差网络），以应对不同物种间事件长度的差异。
• 应用时间扭曲、频域掩蔽和Specaugment等数据增强技术，提升模型鲁棒性与泛化能力。
• 利用任务自适应特征和微调策略，将预训练模型（如ECAPA-TDNN）适配至少样本检测任务。

Figure 1: F-Score results by dataset. Systems are ordered by highest scoring rank on the evaluation set.

实验结果

研究问题

• RQ1 在每类仅提供五个标注样本的条件下，如何有效将少样本学习适配至生物声学中的声音事件检测任务？
• RQ2 当训练数据极度有限时，归纳推理在提升检测性能中起到何种作用？
• RQ3 不同动物物种间事件时长的差异如何影响检测性能？何种架构策略可缓解此问题？
• RQ4 在缺乏显式负样本标签的情况下，改进负原型构建是否能通过减少误报来提升检测效果？
• RQ5 数据增强与模型微调策略在少样本生物声学SED中对性能提升的贡献程度如何？

主要发现

• 表现最佳的系统在测试集上实现了60%的F1分数，显著优于去年最佳结果28.45%。
• 采用帧级嵌入学习的系统在短时事件数据集（如QU和MGE）中表现更优，得益于更高的时间精度。
• 归纳推理与任务自适应特征学习显著提升了检测性能，通过利用完整测试集上下文优化预测。
• 能够适应不同事件长度的集成与多尺度架构，优于单一架构模型，尤其在事件时长变化大的数据集中表现更佳。
• 对CNN进行简单修改，如频域轴优化和对五样本支持集的可控过拟合，可在所有评估子集上实现强劲性能。
• 尽管取得进展，仍面临类别不平衡、负原型构建困难，以及在少样本设置下分类与检测之间差距难以弥合等挑战。