[论文解读] Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems

Qiuqiang Kong, Yin Cao+4 more|arXiv (Cornell University)|Apr 11, 2019

Music and Audio Processing被引用 4

一句话总结

本论文针对 DCASE 2019 挑战赛中的音频标记、声音事件检测及空间定位任务，提出了基于 5、9 和 13 层卷积神经网络（CNN）的通用跨任务基线系统。9 层 CNN 搭配平均池化在多数任务中表现最佳，表明模型深度与池化类型对跨任务泛化能力具有显著影响，且无需针对特定任务进行微调。

ABSTRACT

The Detection and Classification of Acoustic Scenes and Events (DCASE) 2019 challenge focuses on audio tagging, sound event detection and spatial localisation. DCASE 2019 consists of five tasks: 1) acoustic scene classification, 2) audio tagging with noisy labels and minimal supervision, 3) sound event localisation and detection, 4) sound event detection in domestic environments, and 5) urban sound tagging. In this paper, we propose generic cross-task baseline systems based on convolutional neural networks (CNNs). The motivation is to investigate the performance of a variety of models across several tasks without exploiting the specific characteristics of the tasks. We looked at CNNs with 5, 9, and 13 layers, and found that the optimal architecture is task-dependent. For the systems we considered, we found that the 9-layer CNN with average pooling is a good model for a majority of the DCASE 2019 tasks.

研究动机与目标

• 开发适用于多种音频理解任务的通用、可复用基线模型，且不依赖于任务特定特征。
• 探究模型架构深度（5、9、13 层）对多样化音频任务性能的影响。
• 评估池化策略（特别是平均池化）在音频表征学习中对跨任务泛化的影响。
• 为未来在音频标记、声音事件检测及空间定位领域的研究建立稳健且可迁移的基线。
• 为低监督与噪声标签设置下的多任务音频理解提供最优模型设计洞见。

提出的方法

• 设计三种分别包含 5、9 和 13 层的 CNN 架构，以评估深度对跨任务性能的影响。
• 在 9 层 CNN 中引入平均池化作为关键架构组件，以提升跨任务的泛化能力。
• 在五个不同的 DCASE 2019 任务中训练同一模型架构：声学场景分类、带噪声标签的音频标记、声音事件定位与检测、家庭环境中的检测任务以及城市声音标记。
• 在所有任务中应用共享的训练与推理流程，确保公平比较并避免针对特定任务的调整。
• 使用 DCASE 2019 标准指标评估模型性能，包括 F1 分数与定位准确率。
• 通过在各任务上的实证比较，最终选定 9 层 CNN 搭配平均池化作为最优基线。

实验结果

研究问题

• RQ1 模型深度（5、9、13 层）如何影响在多样化音频标记与检测任务中的性能表现？
• RQ2 在音频表征学习中，与其它池化策略相比，平均池化是否能提升跨任务泛化能力？
• RQ3 单一通用 CNN 架构是否可在无需任务特定调整的前提下，在多个 DCASE 2019 任务中实现优异性能？
• RQ4 哪种 CNN 架构在复杂度与性能之间提供了最佳权衡，适用于多任务音频理解？
• RQ5 在噪声环境与监督信号有限的设置下，9 层 CNN 搭配平均池化相较于更深或更浅的模型，在鲁棒性与泛化能力方面表现如何？

主要发现

• 9 层 CNN 搭配平均池化在大多数 DCASE 2019 任务中实现了最佳整体性能。
• 性能表现具有任务依赖性，表明最优架构随任务特性而异。
• 9 层 CNN 在泛化能力与鲁棒性方面优于更浅的 5 层模型和更深的 13 层模型。
• 平均池化显著提升了性能，尤其在需要精确定位与检测的任务中表现突出。
• 所提出的通用基线系统在极少架构修改下展现出强大的跨任务迁移能力。
• 本研究证实，模型深度与池化类型等架构选择对音频理解中的跨任务学习具有决定性影响。