[论文解读] DCASE 2018 Challenge Surrey Cross-Task convolutional neural network baseline

Qiuqiang Kong, Turab Iqbal+3 more|arXiv (Cornell University)|Aug 2, 2018

Music and Audio Processing参考文献 18被引用 31

一句话总结

本论文为 DCASE 2018 挑战赛提出了一种跨任务卷积神经网络（CNN）基线模型，评估了四层和八层 CNN 在五个音频任务上的表现。八层 CNN 在除声学场景分类任务外的所有任务中均优于四层模型，在任务1中取得 68.0% 的准确率，任务2中取得 92.8% 的平均平均精度，任务3中取得 85.4% 的 AUC，任务4中取得 20.8% 的 F1 分数，任务5中取得 87.75% 的 F1 分数。

ABSTRACT

The Detection and Classification of Acoustic Scenes and Events (DCASE) consists of five audio classification and sound event detection tasks: 1) Acoustic scene classification, 2) General-purpose audio tagging of Freesound, 3) Bird audio detection, 4) Weakly-labeled semi-supervised sound event detection and 5) Multi-channel audio classification. In this paper, we create a cross-task baseline system for all five tasks based on a convlutional neural network (CNN): a "CNN Baseline" system. We implemented CNNs with 4 layers and 8 layers originating from AlexNet and VGG from computer vision. We investigated how the performance varies from task to task with the same configuration of neural networks. Experiments show that deeper CNN with 8 layers performs better than CNN with 4 layers on all tasks except Task 1. Using CNN with 8 layers, we achieve an accuracy of 0.680 on Task 1, an accuracy of 0.895 and a mean average precision (MAP) of 0.928 on Task 2, an accuracy of 0.751 and an area under the curve (AUC) of 0.854 on Task 3, a sound event detection F1 score of 20.8% on Task 4, and an F1 score of 87.75% on Task 5. We released the Python source code of the baseline systems under the MIT license for further research.

研究动机与目标

• 为 DCASE 2018 挑战赛中的五个多样化音频分类与声音事件检测任务建立统一的跨任务 CNN 基线模型。
• 评估四层与八层 CNN 架构在全部五个任务中的性能差异。
• 通过使用相同网络配置比较模型在不同任务中的表现，探究任务难度。
• 发布可复现的、开源的基线系统实现，以促进后续研究。
• 为弱标签和多模态音频设置下 CNN 的泛化能力与可扩展性提供见解。

提出的方法

• 实现两种 CNN 架构：一种受 AlexNet 启发的四层 CNN，以及一种基于 VGG 的八层 CNN，两者均以对数梅尔倒谱图作为输入。
• 在所有卷积模块中应用 2×2 核的池化操作和批量归一化，以稳定训练并提升泛化能力。
• 在多标签分类任务中，采用全局平均池化后接全连接层并使用 Sigmoid 激活函数。
• 针对任务4（弱标签 SED），采用帧级预测并结合阈值设定（0.2 和 0.8）以检测事件的起始与结束时间，并在训练中使用片段级标签。
• 通过仅在频率轴上应用最大池化，而非时间轴，以在任务4中保持特征图的时间分辨率。
• 使用交叉熵损失进行端到端训练，并采用标准指标（准确率、平均平均精度（MAP）、AUC 和 F1 分数）进行评估。

实验结果

研究问题

• RQ1 共享的 CNN 架构在 DCASE 2018 挑战赛的多样化音频任务中表现如何？
• RQ2 将网络深度从四层增加到八层是否能在所有任务中持续提升性能？
• RQ3 在相同模型配置下，哪个任务最具挑战性？其困难因素是什么？
• RQ4 单一 CNN 基线能否在弱标签、多通道和多类别音频场景中有效泛化？
• RQ5 不同的推理策略（如阈值法与片段级标签）在弱标签设置下如何影响声音事件检测的性能？

主要发现

• 八层 CNN 在任务1（声学场景分类）中取得 68.0% 的准确率，优于四层模型，尽管差异较小。
• 在任务2（通用音频标记）中，八层 CNN 取得 0.928 的平均平均精度（MAP），显著优于四层模型。
• 在任务3（鸟类音频检测）中，八层 CNN 在开发集上取得 0.854 的 AUC，在测试集上取得 0.809，优于四层模型的表现。
• 在任务4（弱标签半监督 SED）中，八层 CNN 使用 SED1 推理策略取得 20.8% 的 F1 分数，表明该任务仍极具挑战性。
• 在任务5（多通道音频分类）中，八层 CNN 在开发集上取得 87.75% 的 F1 分数，在测试集上取得 83.2% 的 F1 分数（未知麦克风），表现出强大的鲁棒性。
• 八层 CNN 在除任务1外的所有任务中均优于四层模型，表明更深的网络在复杂音频标记与检测任务中更具优势。