[论文解读] A Comparison of deep learning methods for environmental sound

Juncheng Li, Wei Dai+3 more|arXiv (Cornell University)|Mar 20, 2017

Music and Audio Processing参考文献 14被引用 12

一句话总结

本论文基于 DCASE 2016 数据集，对比了深度学习模型——DNN、RNN、CNN、GMM 和 i-vector 在环境声音分类任务上的表现，评估了包括 MFCC、对数梅谱和 OpenSMILE 特征在内的六种特征集。通过模型的后期融合，测试准确率提升至 88.2%，与 DCASE 2016 最佳结果持平，且非时序 DNN 的表现优于 RNN 和 CNN，表明环境声音缺乏显著的时序动态特性。

ABSTRACT

Environmental sound detection is a challenging application of machine learning because of the noisy nature of the signal, and the small amount of (labeled) data that is typically available. This work thus presents a comparison of several state-of-the-art Deep Learning models on the IEEE challenge on Detection and Classification of Acoustic Scenes and Events (DCASE) 2016 challenge task and data, classifying sounds into one of fifteen common indoor and outdoor acoustic scenes, such as bus, cafe, car, city center, forest path, library, train, etc. In total, 13 hours of stereo audio recordings are available, making this one of the largest datasets available. We perform experiments on six sets of features, including standard Mel-frequency cepstral coefficients (MFCC), Binaural MFCC, log Mel-spectrum and two different large- scale temporal pooling features extracted using OpenSMILE. On these features, we apply five models: Gaussian Mixture Model (GMM), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Convolutional Deep Neural Net- work (CNN) and i-vector. Using the late-fusion approach, we improve the performance of the baseline 72.5% by 15.6% in 4-fold Cross Validation (CV) avg. accuracy and 11% in test accuracy, which matches the best result of the DCASE 2016 challenge. With large feature sets, deep neural network models out- perform traditional methods and achieve the best performance among all the studied methods. Consistent with other work, the best performing single model is the non-temporal DNN model, which we take as evidence that sounds in the DCASE challenge do not exhibit strong temporal dynamics.

研究动机与目标

• 评估并比较基于大规模真实世界数据集的最先进深度学习模型在环境声音分类任务中的表现。
• 探究不同特征表示（如 MFCC 与 OpenSMILE）对各类模型性能的影响。
• 确定通过 RNN 或 CNN 实现的时序建模是否对环境声音识别是必要的。
• 评估后期融合在结合多种模型与特征以提升准确率方面的有效性。
• 基于模型表现，理解环境声音是否表现出强烈的时序动态特性。

提出的方法

• 本研究采用 DCASE 2016 数据集，包含 15 种声学场景的 13 小时立体声音频，其中 9.75 小时用于训练，3.25 小时用于测试。
• 提取六种特征集：单耳与双耳 MFCC（61 维）、对数梅谱（60 维与 200 维）、OpenSMILE 983 维与 6k 维特征，以及基于频谱图的标准特征。
• 训练五种模型：GMM（基线）、i-vector 流程、DNN（全连接）、RNN（双向 GRU）以及在特征集上应用的 CNN（二维卷积层）。
• 后期融合通过在不同特征集上独立训练模型，再通过平均其预测结果进行最终分类。
• 所有特征在训练集上进行标准化处理（零均值、单位方差），并在推理阶段一致应用。
• 通过 4 折交叉验证调整模型超参数，并在保留的测试集上评估性能。

实验结果

研究问题

• RQ1 深度神经网络是否在环境声音分类任务中优于传统模型（如 GMM 和 i-vector）？
• RQ2 不同特征表示（如 MFCC 与 OpenSMILE）对各类模型架构的性能影响如何？
• RQ3 通过 RNN 或 CNN 实现的时序建模是否对准确的环境声音分类是必要的？
• RQ4 对多样化模型与特征进行后期融合是否能显著提升分类准确率？
• RQ5 基于模型表现差异，环境声音是否表现出强烈的时序动态特性？

主要发现

• 基线 GMM 搭配 MFCC 特征的测试准确率为 77.2%，作为强有力的基准参考点。
• 模型后期融合将测试准确率提升至 88.2%，与 DCASE 2016 挑战赛的最佳结果持平。
• 非时序 DNN 模型在所有单一模型中表现最佳，表明环境声音缺乏显著的时序动态特性。
• RNN 和 CNN 表现中等（测试准确率 73–82%），其中 RNN 在单调场景（如火车与有轨电车）中表现更优。
• i-vector 流程在低维特征（如 BiMFCC）上优于深度学习模型，但 DNN 在高维特征（如 OpenSMILE 6k）上表现更佳。
• 特征维度强烈影响模型选择：高维特征更适合 DNN，而低维特征更适合 i-vector。