[论文解读] R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection

Chieh-Chi Kao, Weiran Wang+2 more|arXiv (Cornell University)|Aug 20, 2018

Music and Audio Processing被引用 6

一句话总结

本文提出 R-CRNN，一种基于区域的卷积循环神经网络，用于端到端音频事件检测，可直接预测事件起始和结束时间戳，无需后处理。通过将双向 GRU 集成到类似 Faster R-CNN 的框架中，R-CRNN 捕获了长期时间上下文，在 DCASE 2017 挑战赛中取得最先进性能，开发集上的事件级误差率为 0.09——优于非集成方法，并且相比 R-FCN 将误差降低了一半。

ABSTRACT

This paper proposes a Region-based Convolutional Recurrent Neural Network (R-CRNN) for audio event detection (AED). The proposed network is inspired by Faster-RCNN, a well known region-based convolutional network framework for visual object detection. Different from the original Faster-RCNN, a recurrent layer is added on top of the convolutional network to capture the long-term temporal context from the extracted high level features. While most of the previous works on AED generate predictions at frame level first, and then use post-processing to predict the onset/offset timestamps of events from a probability sequence; the proposed method generates predictions at event level directly and can be trained end-to-end with a multitask loss, which optimizes the classification and localization of audio events simultaneously. The proposed method is tested on DCASE 2017 Challenge dataset. To the best of our knowledge, R-CRNN is the best performing single-model method among all methods without using ensembles both on development and evaluation sets. Compared to the other region-based network for AED (R-FCN) with an event-based error rate (ER) of 0.18 on the development set, our method reduced the ER to half.

研究动机与目标

• 开发一种端到端的音频事件检测模型，绕过帧级预测和后处理以实现事件定位。
• 通过循环建模捕捉长期时间上下文，提升对罕见音频事件的性能。
• 将基于区域的检测框架（Faster R-CNN）适配到音频频谱图上，以实现精确的事件边界预测。
• 评估在有限真实世界数据上，预训练与微调策略对音频事件检测性能的影响。

提出的方法

• 该模型使用带有残差块和双向 GRU 的 CRNN（卷积循环神经网络），从 30 秒的频谱图中提取高层特征。
• 区域建议网络（RPN）基于特征图生成候选事件区间（建议），类似于图像中的目标检测。
• 最终分类器对每个建议的中心和长度进行优化，通过多任务损失函数预测事件类别、起始时间和结束时间。
• 网络通过联合损失函数进行端到端训练，同时优化分类和定位任务。
• 采用大规模数据集（如 AudioSet）进行预训练，并进行微调，以提升特征表示，尤其是在真实事件样本有限的情况下。
• 模型使用时间轴和频率轴的 2D 卷积核，最终特征图的时间分辨率为 186 ms。

实验结果

研究问题

• RQ1 能否有效将基于区域的深度学习框架适配用于音频事件检测，并实现端到端训练？
• RQ2 在基于区域的网络中引入循环层是否能通过建模长期时间依赖性来提升音频事件检测性能？
• RQ3 在有限真实世界数据上，对特征提取器进行预训练与微调如何影响检测性能？
• RQ4 能否在不进行帧级预测和后处理的情况下实现事件级预测，且是否能带来更好的泛化能力？

主要发现

• R-CRNN 在 DCASE 2017 开发集上实现了 0.09 的事件级误差率，优于所有非集成方法。
• 与 R-FCN 相比，该模型将误差率降低了一半（0.18 vs. 0.09），证明了在基于区域检测中引入循环建模的优势。
• 使用预训练结合微调的 CRNN 显著提升了性能，误差率降至 0.09，而未使用预训练时误差率为 0.23。
• 在测试集上，R-CRNN 实现了 0.23 的误差率和 87.9% 的 F-score，优于基线模型和 R-FCN，尽管仍低于顶尖集成方法。
• 消融实验表明，在训练过程中固定预训练的 CRNN 会限制性能，说明微调对获得最佳结果至关重要。
• 该模型在罕见事件（如婴儿哭闹、玻璃破碎、枪响）上表现出强泛化能力，即使真实训练样本有限，也能实现低误差率。