[论文解读] Guided multi-branch learning systems for DCASE 2020 Task 4.

Yuxin Huang, Liwei Lin+6 more|arXiv (Cornell University)|Jul 21, 2020

Music and Audio Processing被引用 8

一句话总结

本文针对 DCASE 2020 任务 4 提出了一种引导式多分支学习（MBL）系统，通过整合多种池化策略和一个声音事件检测分支（SEDB），在先前弱监督 SED 框架的基础上，提升了特征表示能力和泛化性能。该方法通过 MBL 与声音分离（SS）的融合，在合成数据和多源训练下显著提升了 SED 准确率。

ABSTRACT

In this paper, we describe in detail our systems for DCASE 2020 Task 4. The systems are based on the 1st-place system of DCASE 2019 Task 4, which adopts weakly-supervised framework with an attention-based embedding-level multiple instance learning pooling module and a semi-supervised learning approach named Guided learning (GL). This year, we incorporate Multiple branch learning (MBL) into the original system to further improve its performance. MBL makes different branches with different pooling strategies (including instance-level and embedding-level strategies) and different pooling modules (including attention pooling, global max pooling or global average pooling modules) share the same feature encoder of the model. Therefore, multiple branches pursuing different purposes and focusing on different characteristics of the data can help the feature encoder model the feature space better and avoid over-fitting. To better exploit the strongly-labeled synthetic data, inspired by multi-task learning, we also employ a sound event detection branch (SEDB). To combine sound separation (SS) with sound event detection (SED), we fuse the results of SED systems with SS-SED systems which are trained using separated sources output by an SS system. The experimental results prove that MBL can improve the model performance and using SS has great potential to improve the performance of SED ensemble system.

研究动机与目标

• 通过利用具有不同池化策略的多个学习分支，提升弱监督声音事件检测（SED）系统的性能。
• 通过在多个分支中共享单一特征编码器并使用不同的池化模块，提升特征表示并减少过拟合。
• 通过一个专门的声音事件检测分支（SEDB）更有效地利用强标签合成数据，借鉴多任务学习原理。
• 通过融合在分离音频源上训练的 SS-SED 系统输出，实现声音分离（SS）与 SED 的结合。
• 验证多分支学习与基于 SS 的集成方法在提升 DCASE 2020 任务 4 SED 性能方面的有效性。

提出的方法

• 提出一种多分支学习（MBL）框架，多个分支共享一个公共特征编码器，但应用不同的池化策略（实例级与嵌入级）和池化模块（注意力、全局最大池化、全局平均池化）。
• 采用来自 DCASE 2019 第一名系统的引导式学习（GL）半监督方法，以利用弱标签数据。
• 引入一个专门的声音事件检测分支（SEDB），以更有效地利用强标签合成数据，通过多任务学习原则提升模型泛化能力。
• 融合来自 SED 系统与 SS-SED 系统的结果，其中 SS-SED 模型在由专用声音分离（SS）系统分离出的音频源上进行训练。
• 使用基于注意力的嵌入级多实例学习池化，聚焦于弱标签数据中的相关片段。
• 通过集成学习结合多个模型，其中 SS-SED 输出用于优化最终的 SED 预测结果。

实验结果

研究问题

• RQ1 采用多样化池化策略的多分支学习能否提升弱监督 SED 模型的泛化能力与鲁棒性？
• RQ2 在真实世界 SED 任务中，引入专门用于合成数据的 SED 分支在多大程度上能提升模型性能？
• RQ3 将声音分离（SS）输出与 SED 系统融合，在多大程度上能提升检测准确率？
• RQ4 在共享编码器架构中，结合多种池化模块（如注意力、最大池化、平均池化）是否能带来比单分支基线更好的特征学习效果？
• RQ5 在弱监督设置下，SS-SED 系统的集成是否能显著优于标准 SED 系统？

主要发现

• 所提出的多分支学习（MBL）框架通过引入多样化池化策略，提升了特征表示能力，从而在基线弱监督系统基础上实现了性能提升。
• 引入用于合成数据的声音事件检测分支（SEDB）显著提升了性能，证明了在半监督设置下利用强标签数据的价值。
• 将 SS-SED 系统结果与标准 SED 系统结果融合，带来了显著的性能增益，证实了声音分离在增强 SED 集成系统方面的潜力。
• 结合注意力池化与多种池化模块，有助于模型聚焦于显著事件片段，从而提升检测准确率。
• 整体系统在 DCASE 2020 任务 4 上达到了最先进性能，相较于先前方法在定量指标上取得显著提升，尤其在具有挑战性的检测场景中表现突出。
• 实验结果验证了 MBL 通过促使特征编码器建模输入数据的多样化特征，有效减少了过拟合并增强了泛化能力。