[论文解读] Guided multi-branch learning systems for sound event detection with sound separation

Yuxin Huang, Liwei Lin+6 more|arXiv (Cornell University)|Jul 21, 2020

Music and Audio Processing参考文献 5被引用 6

一句话总结

本文提出了一种用于声音事件检测（SED）的引导式多分支学习（MBL）系统，该系统整合了声音分离（SS），并通过共享的特征编码器与多样化池化策略提升性能。通过结合注意力池化、全局平均/最大池化以及声音事件检测分支，该模型在公开测试集上实现了 0.497 的集成 F1 分数，在验证集上实现了 0.472 的 F1 分数，当结合 SS-SED 系统时表现优异。

ABSTRACT

In this paper, we describe in detail our systems for DCASE 2020 Task 4. The systems are based on the 1st-place system of DCASE 2019 Task 4, which adopts weakly-supervised framework with an attention-based embedding-level pooling module and a semi-supervised learning approach named guided learning. This year, we incorporate multi-branch learning (MBL) into the original system to further improve its performance. MBL uses different branches with different pooling strategies (including instance-level and embedding-level strategies) and different pooling modules (including attention pooling, global max pooling or global average pooling modules), which share the same feature encoder of the model. Therefore, multiple branches pursuing different purposes and focusing on different characteristics of the data can help the feature encoder model the feature space better and avoid over-fitting. To better exploit the strongly-labeled synthetic data, inspired by multi-task learning, we also employ a sound event detection branch. To combine sound separation (SS) with sound event detection (SED), we fuse the results of SED systems with SS-SED systems which are trained using separated sound output by an SS system. The experimental results prove that MBL can improve the model performance and using SS has great potential to improve the performance of SED ensemble system.

研究动机与目标

• 利用弱标签数据、无标签数据和合成数据提升声音事件检测（SED）性能。
• 将声音分离（SS）整合到 SED 系统中，以提高检测准确性。
• 通过共享编码器的多分支学习（MBL）缓解过拟合问题，并改善特征空间建模。
• 通过引入受多任务学习启发的专用 SED 分支，更有效地利用合成数据。
• 评估在集成模型中结合 SS-SED 系统与标准 SED 系统的影响。

提出的方法

• 该系统在多个分支中使用共享的卷积神经网络（CNN）特征编码器，采用不同的池化策略：嵌入级（E-）池化与实例级（I-）池化。
• 每个分支采用不同的池化模块：注意力池化（ATP）、全局平均池化（GAP）或全局最大池化（GMP），以实现多样化的特征提取。
• 应用引导式学习框架，由专业教师模型（PT-model）与有前景的学生模型（PS-model）联合训练，使用标注数据与伪标签数据。
• 对于无标签数据，PS-model 使用 PT-model 生成的伪标签；在预热阶段后，PS-model 的预测结果用于优化 PT-model 的伪标签。
• 引入专用的声音事件检测分支，以更有效地利用强标签合成数据，遵循多任务学习原则。
• 通过在基线 SS 系统输出上训练 SED 模型，将声音分离功能集成，并在集成系统中融合结果以提升整体性能。

实验结果

研究问题

• RQ1 在弱监督设置下，采用多样化池化策略的多分支学习是否能提升声音事件检测性能？
• RQ2 在集成学习中，将声音分离整合到 SED 系统是否能带来可测量的性能增益？
• RQ3 在弱监督框架中，为 SED 引入辅助分支是否能提升对合成强标签数据的利用效率？
• RQ4 不同池化模块（如 ATP、GAP、GMP）的组合如何影响模型的泛化能力与鲁棒性？
• RQ5 使用声音分离系统输出的分离音频是否能提升 SED 集成系统的性能？

主要发现

• 结合标准 SED 与 SS-SED 模型的集成系统在公开测试集上取得 0.495 的 F1 分数，在验证集上为 0.472，优于未使用 SS 的系统。
• 表现最佳的集成系统 SED-Ensemble（已提交）在公开测试集上取得 0.497 的 F1 分数，在验证集上为 0.467。
• 在集成系统中，将三个 SS-SED 模型替换为真实数据训练的模型后，性能下降（测试集 F1 降至 0.485），表明 SS-SED 系统贡献了独特且互补的特征。
• 在基础 E-ATP 模型中增加辅助分支（I-GMP、I-GAP）提升了性能，其中表现最佳的单模型（E-ATP + I-GAP）在验证集上达到 0.451 的 F1 分数。
• 采用教师与学生模型伪标签的引导式学习方法有效利用了无标签数据，有助于提升泛化能力。
• 结果表明，通过集成学习将声音分离与 SED 相结合，可显著提升系统的鲁棒性与准确性。