[论文解读] Forward-Backward Convolutional Recurrent Neural Networks and Tag-Conditioned Convolutional Neural Networks for Weakly Labeled Semi-supervised Sound Event Detection

Janek Ebbers, Reinhold Haeb‐Umbach|arXiv (Cornell University)|Mar 11, 2021

Music and Audio Processing被引用 5

一句话总结

该论文提出了一种前向-后向卷积循环神经网络（FBCRNN）和一种标签条件化的CNN，用于弱标签半监督音素事件检测（SED）。FBCRNN联合训练前向和后向RNN，以在序列早期预测音频标签，从而实现在短段落上的SED；标签条件化的CNN利用预测的标签作为输入，以优化强标签预测。该系统在验证集上取得了52.8%的宏平均F1分数，比基准系统高出18.0%，比冠军系统高出2.2%。

ABSTRACT

In this paper we present our system for the detection and classification of acoustic scenes and events (DCASE) 2020 Challenge Task 4: Sound event detection and separation in domestic environments. We introduce two new models: the forward-backward convolutional recurrent neural network (FBCRNN) and the tag-conditioned convolutional neural network (CNN). The FBCRNN employs two recurrent neural network (RNN) classifiers sharing the same CNN for preprocessing. With one RNN processing a recording in forward direction and the other in backward direction, the two networks are trained to jointly predict audio tags, i.e., weak labels, at each time step within a recording, given that at each time step they have jointly processed the whole recording. The proposed training encourages the classifiers to tag events as soon as possible. Therefore, after training, the networks can be applied to shorter audio segments of, e.g., 200 ms, allowing sound event detection (SED). Further, we propose a tag-conditioned CNN to complement SED. It is trained to predict strong labels while using (predicted) tags, i.e., weak labels, as additional input. For training pseudo strong labels from a FBCRNN ensemble are used. The presented system scored the fourth and third place in the systems and teams rankings, respectively. Subsequent improvements allow our system to even outperform the challenge baseline and winner systems in average by, respectively, 18.0% and 2.2% event-based F1-score on the validation set. Source code is publicly available at https://github.com/fgnt/pb_sed.

研究动机与目标

• 为解决仅使用弱标签数据（仅标注事件是否存在）在家庭环境中进行音素事件检测（SED）的挑战。
• 开发一种方法，即使在全录音弱标签数据上进行训练，也能实现在短音频段（如200 ms）上的SED推理。
• 通过利用FBCRNN预测生成的伪强标签，提升半监督学习中的性能。
• 探究使用弱标签作为辅助输入的标签条件化在提升SED准确率方面的有效性。

提出的方法

• FBCRNN使用共享的CNN进行特征提取，随后连接两个RNN——一个处理输入序列正向，一个反向——联合训练以在每个时间步基于完整录音上下文预测音频标签。
• 联合训练通过强制两个RNN均基于完整序列预测标签，促进早期标签预测，从而在训练后实现短段落上的推理。
• 标签条件化的CNN利用FBCRNN预测的标签作为附加输入特征，以预测强标签的事件起始和结束时间。
• 通过FBCRNN模型集成生成的伪强标签，用于监督标签条件化CNN的训练。
• 训练过程中应用了mixup、时间/频率掩码和随机缩放等数据增强技术，以提升模型鲁棒性。
• 对多个FBCRNN和CNN模型进行集成，提升了泛化能力并获得更高的检测性能。

实验结果

研究问题

• RQ1 在仅使用弱标签数据训练的前提下，前向-后向RNN架构是否能有效实现在短音频段上的音素事件检测，而无需强监督？
• RQ2 将预测的音频标签作为条件输入用于CNN，以优化强标签预测，在半监督SED中效果如何？
• RQ3 使用FBCRNN输出进行伪标签化，是否能显著提升标签条件化CNN在弱监督SED中的性能？
• RQ4 与单一模型相比，FBCRNN与标签条件化CNN模型的集成在多大程度上提升了整体SED性能？
• RQ5 当与有效的模型设计结合时，简单的伪标签策略是否能超越更复杂的半监督方法（如Mean-Teacher）？

主要发现

• FBCRNN集成在验证集上取得了48.3%的宏平均F1分数，证明了其在短段落上实现有效早期标签预测与推理的能力。
• 标签条件化CNN集成在验证集上取得了52.1%的宏平均F1分数，优于FBCRNN，显示出标签条件化的优势。
• 结合FBCRNN与CNN模型的混合集成在验证集上达到52.8%的宏平均F1分数，比基准系统高出18.0%。
• 该系统在验证集上的宏平均F1分数比2020年挑战赛冠军系统高出2.2%，表明其具有强大的泛化能力。
• 在yt-eval-2019数据集上，集成方法相比单个FBCRNN模型性能提升2.4%，相比单个CNN模型提升0.7%。
• 更广泛的超参数调优仅带来微小性能增益，表明性能提升的主要驱动力是伪标签质量的改进。