[论文解读] CRNNs for Urban Sound Tagging with spatiotemporal context

Augustin Arnault, Nicolas Riche|arXiv (Cornell University)|Aug 24, 2020

Music and Audio Processing参考文献 18被引用 4

一句话总结

本论文提出了一种基于CRNN的模型，整合了对数梅尔倒谱图、时空元数据（时间、位置）以及混合音频嵌入（通用和特定）的层次化多标签城市声音识别方法。通过结合受TALNet启发的CNN-Transformer架构用于特定嵌入、预训练的通用嵌入，以及通过Time2Vec嵌入的元数据，该模型在DCASE 2020任务5基准上实现了最先进性能，粗粒度标签的宏平均AUPRC达到0.8107，细粒度标签达到0.7040，两项指标均优于基线模型。

ABSTRACT

This paper describes CRNNs we used to participate in Task 5 of the DCASE 2020 challenge. This task focuses on hierarchical multilabel urban sound tagging with spatiotemporal context. The code is available on our GitHub repository at https://github.com/multitel-ai/urban-sound-tagging.

研究动机与目标

• 解决真实音频记录中具有时空上下文的层次化多标签城市声音识别挑战。
• 通过整合多种输入模态（倒谱图、元数据和音频嵌入）提升在DCASE 2020任务5基准上的性能。
• 探究在多标签音频识别中，结合通用预训练音频嵌入与任务特定学习嵌入的有效性。
• 评估先进训练技术与数据增强对模型泛化能力和鲁棒性的影响。
• 开发一种可扩展且模块化的深度学习框架，用于城市声音事件检测与分类。

提出的方法

• 模型使用对数梅尔倒谱图（64 bands，0–8 kHz，汉宁窗，步长1103）作为主要音频输入表征。
• 时空元数据（小时、日、周、位置）通过Time2Vec（T2V）嵌入，随后经过Transformer编码器，以捕捉周期性与非周期性模式。
• 特定音频嵌入通过受TALNet启发的架构生成，其中使用组归一化、权重标准化，并以Transformer编码器替代双向GRU层。
• 通用音频嵌入来自在AudioSet上微调的预训练TALNet模型，提供可迁移特征。
• 最终预测头将三种嵌入（特定、通用和元数据）拼接后，通过全连接层并应用二元交叉熵损失进行多标签分类。
• 数据增强包括SpecAugment（频率/时间掩码、变形）、图像风格增强（ShiftScaleRotate、Grid Distortion、Cutout）以及使用Beta分布混合的Mixup。

实验结果

研究问题

• RQ1 在层次化城市声音识别中，整合时空元数据是否能显著提升性能？
• RQ2 在低资源城市声音识别场景下，特定任务学习的音频嵌入与通用预训练嵌入相比表现如何？
• RQ3 在CRNN架构中，用Transformer编码器替代双向GRU层是否能带来更好的性能和更快的收敛？
• RQ4 使用高性能模型（如System2）重标注训练集在多大程度上能提升最终系统的准确率？
• RQ5 对于层次化多标签音频识别，最优损失函数组合（如细粒度标签的掩码二元交叉熵）是什么？

主要发现

• System3在粗粒度标签分类上的宏平均AUPRC达到0.8107，显著优于基线模型的0.6323。
• 在细粒度标签分类中，System3的宏平均AUPRC达到0.7040，超过基线模型的0.5278。
• 同时使用通用和特定音频嵌入，并结合元数据，相比仅使用单一嵌入类型的模型，带来了持续的性能提升。
• 引入Mixup和SpecAugment数据增强技术，有助于提升泛化能力并获得更高的AUPRC分数。
• 在特定嵌入头中采用基于Transformer的编码器，相比RNN基线方法，减少了模型参数并提升了性能。
• 采用高性能模型（System2）进行重标注的策略，提升了训练标签的质量，从而促进了验证集上的更好泛化。