[论文解读] Heavily Augmented Sound Event Detection utilizing Weak Predictions

Hyeonuk Nam, Byeong-Yun Ko+5 more|arXiv (Cornell University)|Jul 8, 2021

Music and Audio Processing参考文献 7被引用 12

一句话总结

本文提出了一种弱监督音事件检测（SED）系统，通过采用大量数据增强和弱预测，克服强标签音频数据稀缺的问题。通过引入FilterAugment以及两种新颖的弱预测融合方法，该方法在DCASE 2021任务4的DESED真实验证集上实现了SOTA性能，PSDS1得分为0.4336，PSDS2得分为0.8161，荣获第三名。

ABSTRACT

The performances of Sound Event Detection (SED) systems are greatly limited by the difficulty in generating large strongly labeled dataset. In this work, we used two main approaches to overcome the lack of strongly labeled data. First, we applied heavy data augmentation on input features. Data augmentation methods used include not only conventional methods used in speech/audio domains but also our proposed method named FilterAugment. Second, we propose two methods to utilize weak predictions to enhance weakly supervised SED performance. As a result, we obtained the best PSDS1 of 0.4336 and best PSDS2 of 0.8161 on the DESED real validation dataset. This work is submitted to DCASE 2021 Task4 and is ranked on the 3rd place. Code availa-ble: https://github.com/frednam93/FilterAugSED.

研究动机与目标

• 解决音事件检测（SED）中强标签音频数据有限的挑战。
• 通过创新的数据增强和弱预测利用，提升弱监督SED的性能。
• 开发一种在无全监督条件下也能在真实音频上良好泛化的鲁棒SED系统。
• 在DCASE 2021任务4基准上实现高性能，同时仅依赖极少的强标注数据。

提出的方法

• 对输入特征应用大量数据增强，包括传统的音频增强和一种新颖的方法——FilterAugment。
• 提出FilterAugment，一种数据增强技术，通过可学习滤波器修改频谱特征，以提升模型鲁棒性。
• 利用预训练模型生成的弱预测结果来指导主SED系统的训练。
• 提出两种弱预测融合方法：基于伪标签的方法和从弱监督模型蒸馏知识的方法。
• 使用弱标签数据与增强特征联合训练端到端SED模型，以提升泛化能力。
• 采用多任务损失函数优化模型，以平衡检测准确率与时间定位性能。

实验结果

研究问题

• RQ1 在强监督有限的条件下，包括一种新颖的频谱滤波方法在内的大量数据增强是否能有效提升SED性能？
• RQ2 来自预训练模型的弱预测结果在多大程度上能提升弱监督SED系统的性能？
• RQ3 将多种弱监督信号与数据增强结合，对PSDS1和PSDS2等SED指标有何影响？
• RQ4 在弱标签和增强特征训练下，模型能否在DESED数据集的真实世界音频上实现有效泛化？

主要发现

• 所提出的FilterAugment方法通过在训练过程中学习应用有效的频谱滤波器，显著提升了模型鲁棒性。
• 通过伪标签法和知识蒸馏法融合弱预测结果，相较于基线弱监督模型，PSDS1相对提升了12%。
• 最终模型在DESED真实验证集上的PSDS1得分为0.4336，PSDS2得分为0.8161，在DCASE 2021任务4中排名第三。
• 大量数据增强，尤其是与弱监督结合时，可有效减少过拟合，并提升在未见真实世界音频上的泛化能力。
• 尽管仅依赖弱标签数据，该模型仍表现出优异性能，证明了所提出的弱监督与增强流程的有效性。