[论文解读] Large-Scale Weakly Labeled Semi-Supervised Sound Event Detection in Domestic Environments

Romain Serizel, Nicolas Turpault+2 more|arXiv (Cornell University)|Jul 27, 2018

Music and Audio Processing参考文献 10被引用 64

一句话总结

本论文介绍了 DCASE 2018 任务 4，针对家庭环境中大规模弱标签半监督声音事件检测（SED）的问题，使用少量弱标签音频片段（无时间边界）和来自 YouTube 的大量未标注音频。该方法采用两阶段 CRNN 模型：首先在弱标签数据上训练片段级分类器，然后利用第一阶段生成的伪标签对帧级模型进行微调，最终在测试集上达到 14.06% 的宏平均 F1 分数，证明了在仅需极少人工标注时间边界的情况下实现半监督 SED 的可行性。

ABSTRACT

This paper presents DCASE 2018 task 4. The task evaluates systems for the large-scale detection of sound events using weakly labeled data (without time boundaries). The target of the systems is to provide not only the event class but also the event time boundaries given that multiple events can be present in an audio recording. Another challenge of the task is to explore the possibility to exploit a large amount of unbalanced and unlabeled training data together with a small weakly labeled training set to improve system performance. The data are Youtube video excerpts from domestic context which have many applications such as ambient assisted living. The domain was chosen due to the scientific challenges (wide variety of sounds, time-localized events.. .) and potential industrial applications .

研究动机与目标

• 开发能够在极少人工标注时间边界条件下运行的声音事件检测系统，以反映现实世界中时间编码标注成本高昂的限制。
• 探索通过结合少量弱标签片段与大规模 YouTube 未标注音频，实现半监督学习的有效性。
• 通过利用未标注数据和帧级建模，提升声音事件检测中时间边界估计的准确性，这是 SED 的关键挑战。
• 在包含多样化持续时间与重叠事件的现实家庭声音事件不平衡数据集上评估系统性能。

提出的方法

• 采用两阶段深度学习流程：首先在弱标签片段（1,578 个片段）上训练 CRNN 模型，以预测片段级别的事件存在性。
• 利用第一阶段模型对 14,412 个未标注的同域片段生成伪标签，随后使用这些伪标签训练第二个用于帧级预测的 CRNN 模型。
• 第二阶段模型采用时间分布式全连接层，输出每帧的事件概率，从而实现精确的事件起始与结束时间估计。
• 对帧级输出应用中值滤波（51 帧 ≈ 1 秒）以平滑预测结果，提升边界定位精度。
• 训练过程中采用早停策略，并在评估时使用宏平均 F1 分数，时间边界容错为：起始时间 200ms，结束时间 20% 事件长度。
• 评估使用 sed_eval 工具箱，基于事件的指标对边界错误施加严重惩罚，以强调定位准确性的关键性。

实验结果

研究问题

• RQ1 当仅有一小部分训练数据具备时间边界标注时，半监督学习是否能有效提升声音事件检测性能？
• RQ2 利用来自 YouTube 的大规模未标注音频对 SED 中时间边界估计的准确性有何影响？
• RQ3 两阶段深度学习方法（先进行片段级分类，再进行帧级优化）在边界定位方面，相较于弱监督基线模型，能多大程度上实现性能提升？
• RQ4 系统性能与错误模式在不同持续时间的声音事件（如短时事件与长时事件）之间有何差异？
• RQ5 引入域外未标注数据（如以语音为主的片段）是否会对目标家庭 SED 任务的性能产生负面影响或带来提升？

主要发现

• 基线系统在首次处理弱标签数据后，宏平均 F1 分数仅为 7.51%，表明其在时间边界检测方面性能有限。
• 在第二阶段，通过使用伪标签对未标注数据进行微调后，宏平均 F1 分数提升至 14.06%，证明了半监督学习的有效性。
• 性能提升最大的是长时事件，如“吸尘器”（F1 分数 46.5%）和“电动剃须刀/牙刷”（F1 分数 32.4%），而短时事件如“猫”和“语音”仍检测效果极差。
• 系统在短时事件上表现显著不足，对“猫”、“狗”和“语音”等事件的 F1 分数接近零，凸显了边界准确估计的挑战。
• 指标对边界错误施加了严重惩罚，这解释了短时事件得分较低的原因：即使存在微小的起始/结束时间误差，也会导致大量误报与漏报。
• 结果证实，时间分割仍是 SED 中的主要瓶颈，且当前的平滑技术尚不足以实现精确的定位。