[论文解读] Deep Convolutional Neural Networks and Data Augmentation for Acoustic Event Detection

Naoya Takahashi, Michael Gygli+2 more|arXiv (Cornell University)|Apr 25, 2016

Music and Audio Processing参考文献 33被引用 94

一句话总结

该论文提出一种具有大感受野的深层9层卷积神经网络（CNN），实现端到端的语音事件检测（AED），直接建模持续数秒的音频事件。该研究引入一种新颖的数据增强方法——基于强调的多尺度数据增强（EMDA），提升了模型泛化能力，并在SOTA方法（如BoAW+SVM）基础上实现了16%的绝对准确率提升。

ABSTRACT

We propose a novel method for Acoustic Event Detection (AED). In contrast to speech, sounds coming from acoustic events may be produced by a wide variety of sources. Furthermore, distinguishing them often requires analyzing an extended time period due to the lack of a clear sub-word unit. In order to incorporate the long-time frequency structure for AED, we introduce a convolutional neural network (CNN) with a large input field. In contrast to previous works, this enables to train audio event detection end-to-end. Our architecture is inspired by the success of VGGNet and uses small, 3x3 convolutions, but more depth than previous methods in AED. In order to prevent over-fitting and to take full advantage of the modeling capabilities of our network, we further propose a novel data augmentation method to introduce data variation. Experimental results show that our CNN significantly outperforms state of the art methods including Bag of Audio Words (BoAW) and classical CNNs, achieving a 16% absolute improvement.

研究动机与目标

• 解决在不依赖手工设计特征或隐马尔可夫模型（HMM）的情况下检测长时长语音事件的挑战。
• 通过引入一种新颖的数据增强策略，克服在AED中常见的低数据量场景下的过拟合问题。
• 通过使用具有大感受野的深层CNN直接建模完整事件，实现音频事件表征的端到端学习。
• 证明使用小感受野3×3卷积核的更深网络在AED任务中优于浅层模型和经典DNN。

提出的方法

• 采用VGGNet架构用于AED，仅使用堆叠的3×3卷积核以扩大感受野，建模长期时间依赖性。
• 采用大输入感受野（最多400帧，约4秒），直接建模完整语音事件，实现无需HMM的端到端训练。
• 提出基于强调的多尺度数据增强（EMDA），通过时间扭曲和幅度调制生成多样化训练样本。
• 将EMDA与向量泰勒线性预测（VTLP）结合，增强数据多样性，提升对数据稀缺的鲁棒性。
• 使用ReLU激活函数、最大池化层及L1正则化的交叉熵损失进行反向传播训练。
• 采用多实例学习（MIL）结合最大池化和噪声OR池化策略处理弱标签数据，但未观察到性能提升。

实验结果

研究问题

• RQ1 更深的CNN配合大感受野是否能实现在不依赖HMM或帧级聚合情况下的端到端语音事件检测？
• RQ2 所提出的EMDA数据增强方法在训练数据有限条件下对提升模型泛化能力的有效性如何？
• RQ3 与经典DNN和BoAW方法相比，增加网络深度和感受野大小是否能在AED任务中带来显著性能提升？
• RQ4 当训练数据存在噪声或弱标签时，多实例学习（MIL）是否能提升模型性能？
• RQ5 在时间上下文和准确率之间权衡，建模语音事件的最佳输入感受野大小是多少？

主要发现

• 所提出的9层CNN（架构B）配合大感受野，在数据增强下达到92.8%的准确率，相比BoAW+SVM基线（74.7%）实现16%的绝对性能提升。
• 数据增强使B架构性能提升12.5%，EMDA与VTLP结合使用优于单独使用任一方法。
• 更大的输入感受野（如400帧）显著优于较小感受野（如30帧），当输入长度低于1秒时准确率急剧下降。
• 尽管参数量更少，使用小3×3卷积核的深层CNN比浅层模型泛化能力更强，证明深层架构的高效性。
• 使用2秒输入感受野的多实例学习（MIL）性能与使用4秒输入感受野的单实例学习相当或更优，表明其具有更优的归纳偏置且参数量更少。
• 具有大感受野的CNN在性能上优于CNN+HMM基线23.5个百分点，证明直接建模优于基于HMM的序列建模。