[论文解读] Sound Event Detection Transformer: An Event-based End-to-End Model for Sound Event Detection

Zhirong Ye, Xiangdong Wang+5 more|arXiv (Cornell University)|Oct 5, 2021

Music and Audio Processing参考文献 45被引用 13

一句话总结

该论文提出了一种声音事件检测转换器（SEDT），这是首个端到端、基于事件的声学事件检测模型，直接使用一维检测转换器（1D-DETR）结合音频查询分支与一对一多匹配策略，直接预测事件边界和标签。SEDT通过消除后处理步骤，实现了对定位与分类的联合优化，从而在事件级别检测上表现更优，在URBAN-SED和DCASE2019 Task4数据集上取得了具有竞争力的结果。

ABSTRACT

Sound event detection (SED) has gained increasing attention with its wide application in surveillance, video indexing, etc. Existing models in SED mainly generate frame-level prediction, converting it into a sequence multi-label classification problem. A critical issue with the frame-based model is that it pursues the best frame-level prediction rather than the best event-level prediction. Besides, it needs post-processing and cannot be trained in an end-to-end way. This paper firstly presents the one-dimensional Detection Transformer (1D-DETR), inspired by Detection Transformer for image object detection. Furthermore, given the characteristics of SED, the audio query branch and a one-to-many matching strategy for fine-tuning the model are added to 1D-DETR to form Sound Event Detection Transformer (SEDT). To our knowledge, SEDT is the first event-based and end-to-end SED model. Experiments are conducted on the URBAN-SED dataset and the DCASE2019 Task4 dataset, and both show that SEDT can achieve competitive performance.

研究动机与目标

• 解决现有SEd模型中帧级别预测与事件级别检测之间不一致的问题。
• 通过实现端到端的直接事件级别输出，消除对后处理的依赖。
• 通过将帧级别分类替换为基于事件的学习，提升模型泛化能力并降低超参数敏感性。
• 利用合成数据实现弱监督学习，以推断定位信息，从而实现SEd中的弱监督定位。
• 开发一种联合优化事件定位与分类的模型，而无需依赖帧级别监督。

提出的方法

• 提出一种从图像目标检测中改编而来的一维检测转换器（1D-DETR），用于处理音频信号。
• 引入音频查询分支，将类别特定的先验知识注入事件查询中。
• 在训练过程中采用一对一多匹配策略，允许多个预测与单个真实事件对齐，从而提升召回率。
• 使用可学习的查询嵌入，初始值基于音频事件嵌入，以引导事件检测。
• 在微调阶段采用基于IoU阈值（ε）和置信度阈值（α）的动态匹配策略，以优化预测结果。
• 集成事件级别分类融合策略（如P1、P2），在推理后处理中平衡精确率与召回率。

实验结果

研究问题

• RQ1 端到端、基于事件的检测框架是否能在声音事件检测中超越基于帧的模型？
• RQ2 如何在不依赖帧级别监督的前提下，联合优化事件级别的定位与分类？
• RQ3 一对一多匹配策略与基于查询的初始化对模型召回率与精确率有何影响？
• RQ4 合成数据是否能实现SEd中的弱监督定位，而无需强标注？
• RQ5 超参数ε与α如何影响最终预测中精确率与召回率之间的权衡？

主要发现

• 在使用一对一多匹配策略进行微调后，SEDT在事件级别宏F1上比基线模型高出2.27%，在片段级别宏F1上高出0.89%。
• 一对一多匹配策略减少了被标记为“空”类的预测数量，提升了召回率并减少了漏检。
• 可视化结果表明，微调后的预测结果更集中于真实事件，边界定位更准确，且假阴性更少。
• 采用策略1（侧重精确率）的模型在微调后表现最佳，表明其与侧重召回率的策略具有互补优势。
• 超参数调优显示，ε具有显著影响，而α的影响中等；最优设置为ε > 0且α < 2。
• SEDT在URBAN-SED和DCASE2019 Task4数据集上均表现出具有竞争力的性能，验证了其在真实世界SEd场景中的有效性。