[论文解读] Fully DNN-based Multi-label regression for audio tagging

Yong Xu, Qiang Huang+3 more|arXiv (Cornell University)|Jun 24, 2016

Music and Audio Processing参考文献 24被引用 12

一句话总结

该论文提出了一种基于完全深度神经网络（DNN）的多标签回归框架，用于音频标记，仅使用片段级标签，将DNN视为编码函数，将音频序列映射为多标签向量。与DCASE 2016的GMM基线相比，其等错误率（EER）相对提升了15%，性能增益主要源于长期时序建模、深度金字塔特征提取器、dropout正则化以及噪声感知训练。

ABSTRACT

Acoustic event detection for content analysis in most cases relies on lots of labeled data. However, manually annotating data is a time-consuming task, which thus makes few annotated resources available so far. Unlike audio event detection, automatic audio tagging, a multi-label acoustic event classification task, only relies on weakly labeled data. This is highly desirable to some practical applications using audio analysis. In this paper we propose to use a fully deep neural network (DNN) framework to handle the multi-label classification task in a regression way. Considering that only chunk-level rather than frame-level labels are available, the whole or almost whole frames of the chunk were fed into the DNN to perform a multi-label regression for the expected tags. The fully DNN, which is regarded as an encoding function, can well map the audio features sequence to a multi-tag vector. A deep pyramid structure was also designed to extract more robust high-level features related to the target tags. Further improved methods were adopted, such as the Dropout and background noise aware training, to enhance its generalization capability for new audio recordings in mismatched environments. Compared with the conventional Gaussian Mixture Model (GMM) and support vector machine (SVM) methods, the proposed fully DNN-based method could well utilize the long-term temporal information with the whole chunk as the input. The results show that our approach obtained a 15% relative improvement compared with the official GMM-based method of DCASE 2016 challenge.

研究动机与目标

• 通过利用弱标签化的片段级数据而非帧级标注，解决手动标注音频数据有限的挑战。
• 克服传统模型（如GMM和SVM）将事件独立处理、忽略上下文关系的局限性。
• 开发一种深度学习框架，有效捕捉音频中长期时序依赖关系，以实现多标签标记。
• 通过噪声感知训练和正则化技术（如dropout）提升在不匹配环境下的泛化能力。

提出的方法

• 使用全连接DNN作为编码函数，在回归设置下将原始或提取的音频特征序列映射为多标签输出向量。
• 将整个或几乎全部音频片段的帧输入DNN，以保留长期时序上下文，而非独立处理各帧。
• 设计一种深度金字塔结构，逐步减小层尺寸，以提取鲁棒的高层特征，同时抑制无关噪声和干扰。
• 应用dropout正则化以提升模型泛化能力并减少训练数据上的过拟合。
• 引入背景噪声感知训练，以增强在未见或不匹配声学环境下的鲁棒性。
• 使用多标签回归损失端到端训练DNN，优化多个同时发生的音频标签的联合预测。

实验结果

研究问题

• RQ1 基于完全DNN的回归框架是否能在仅使用片段级标签的情况下，超越传统的GMM和SVM方法？
• RQ2 与帧级或独立事件建模相比，音频片段中的长期时序上下文在多标签标记性能上的提升程度如何？
• RQ3 深度金字塔结构在提取鲁棒高层特征以过滤无关噪声方面，对音频标记的有效性如何？
• RQ4 dropout和噪声感知训练是否能显著提升在真实世界不匹配环境下的泛化能力？
• RQ5 所提出的DNN框架是否能实现相对于官方DCASE 2016 GMM基线的显著性能提升？

主要发现

• 所提出的完全DNN方法相比官方DCASE 2016 GMM基线，平均等错误率（EER）相对提升了15%。
• DNN模型将平均EER从GMM的0.210降低至0.1785，其中表现最佳的标签（'v'，代表儿童说话）的EER达到0.0530。
• 该方法在所有标签上显著优于MI-SVM基线，平均EER为0.5474，而DNN为0.1785。
• 模型展现出强大的泛化能力，在使用完整开发集训练后，评估集的最终EER达到19.0%。
• 深度金字塔结构和噪声感知训练显著提升了鲁棒性，尤其在'f'（女性说话）和'o'（其他可识别声音）等困难标签上表现突出。