[论文解读] Adaptive Few-Shot Learning Algorithm for Rare Sound Event Detection

Chendong Zhao, Jianzong Wang+3 more|arXiv (Cornell University)|May 24, 2022

Music and Audio Processing被引用 4

一句话总结

本文提出了一种用于少样本声音事件检测的任务自适应模块，通过建模所有支持样本的类间差异与类内共性，增强基于度量的少样本学习，提升特征表示的适应性。该方法实现了最先进性能，在5-way 1-shot设置下，ESC-50和noiseESC-50上的准确率分别提升了+6.8%和+5.9%。

ABSTRACT

Sound event detection is to infer the event by understanding the surrounding environmental sounds. Due to the scarcity of rare sound events, it becomes challenging for the well-trained detectors which have learned too much prior knowledge. Meanwhile, few-shot learning methods promise a good generalization ability when facing a new limited-data task. Recent approaches have achieved promising results in this field. However, these approaches treat each support example independently, ignoring the information of other examples from the whole task. Because of this, most of previous methods are constrained to generate a same feature embedding for all test-time tasks, which is not adaptive to each inputted data. In this work, we propose a novel task-adaptive module which is easy to plant into any metric-based few-shot learning frameworks. The module could identify the task-relevant feature dimension. Incorporating our module improves the performance considerably on two datasets over baseline methods, especially for the transductive propagation network. Such as +6.8% for 5-way 1-shot accuracy on ESC-50, and +5.9% on noiseESC-50. We investigate our approach in the domain-mismatch setting and also achieve better results than previous methods.

研究动机与目标

• 解决因标注数据有限以及在大量基础类别上训练的模型出现过拟合而导致的罕见声音事件检测挑战。
• 克服现有基于度量的少样本学习框架的局限性，即独立处理支持样本，忽略样本之间的关系。
• 通过联合建模所有支持样本，识别任务特定的判别性特征，提升低数据场景下的泛化能力。
• 通过集成域不变表示和注意力机制，提升在域分布不匹配情况下的模型鲁棒性。
• 开发一种可插拔模块，兼容现有少样本学习框架，在无需架构大规模修改的前提下提升性能。

提出的方法

• 引入一种任务自适应提取器（TAE），聚合任务中所有支持样本的信息，以识别类内的共性与类间的差异。
• 设计一种投影头，通过关注整个支持集来学习跨类的区分性特征，实现对每个输入查询的自适应特征加权。
• 采用面向声音事件的数据增强策略，提升训练多样性并缓解数据稀缺问题。
• 在特征编码器中集成注意力机制，以捕捉原始音频嵌入中的时序与通道上下文信息。
• 将任务自适应模块与基于度量的框架（如原型网络和TPN）结合，实现仅需最小修改的端到端训练。
• 应用域自适应（DA）和时序/通道感知的数据增强，以提升在域分布不匹配设置下的泛化能力。

Figure 1: An toy example to illustrate the motivation. (a) defines a 5-way 1-shot task. There’re three features: Tone , Timbre and loudness . Different color means different value of the feature, same color adds the similarity score by 1; (b) In the k-shot (k=3) setting, all examples of class c3 sha

实验结果

研究问题

• RQ1 建模支持样本之间的关系是否能超越独立相似度计算，从而提升少样本声音事件检测性能？
• RQ2 任务自适应模块如何通过捕捉类内共性和类间独特性来增强特征表示？
• RQ3 在训练与测试数据来自不同分布的域分布不匹配情况下，所提方法的泛化能力如何？
• RQ4 注意力机制与数据增强的集成是否在ESC-50和noiseESC-50等多样化基准上均带来一致的性能提升？
• RQ5 尽管在1-shot设置下表现优异，为何模型在多Shot设置下表现欠佳？其在快速适应中的局限性是什么？

主要发现

• 与基线ProtoNet相比，所提方法在ESC-50数据集上实现了5-way 1-shot准确率+6.8%的提升。
• 在noiseESC-50数据集上，该方法相比基线模型将5-way 1-shot准确率提升了+5.9%，展现出对噪声音频的鲁棒性。
• 在域分布不匹配设置下，TA+ProtoNet+DA模型在音乐类别上的AUC达到0.779，在动物类别上的AUC达到0.705，优于所有基线模型。
• 注意力机制能更准确地定位短时事件（如“枪响”），相比非注意力模型，显著减少了对短暂事件的漏检。
• 采用时序与通道感知数据增强的模型在域分布不匹配评估中达到最高AUC（音乐类0.857，动物类0.768）。
• 可视化分析表明，注意力机制能正确识别相关支持样本，而非注意力模型则常因静音或背景相似性而选择错误匹配。

Figure 2: Two metric-based few-shot learning methods.