[论文解读] A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism

Haoye Lu, Haolong Zhang+1 more|arXiv (Cornell University)|Jun 14, 2020

Music and Audio Processing参考文献 23被引用 10

一句话总结

该论文提出了一种新型深度神经网络——基于分类器注意力的卷积神经网络（CAB-CNN），用于音频分类。该模型用注意力机制替代传统的频谱图预处理，从一组轻量级、专用的分类器中动态选择最优分类器。通过端到端联合训练整个模型并降低分类器复杂度，CAB-CNN在UT-Podcast语料库上实现了95.99%的测试准确率，所有指标均优于当前最先进方法超过10%。

ABSTRACT

Audio classification is considered as a challenging problem in pattern recognition. Recently, many algorithms have been proposed using deep neural networks. In this paper, we introduce a new attention-based neural network architecture called Classifier-Attention-Based Convolutional Neural Network (CAB-CNN). The algorithm uses a newly designed architecture consisting of a list of simple classifiers and an attention mechanism as a classifier selector. This design significantly reduces the number of parameters required by the classifiers and thus their complexities. In this way, it becomes easier to train the classifiers and achieve a high and steady performance. Our claims are corroborated by the experimental results. Compared to the state-of-the-art algorithms, our algorithm achieves more than 10% improvements on all selected test scores.

研究动机与目标

• 为解决基于频谱图的预处理在音频分类中的局限性，该方法可减少噪声并实现端到端联合优化。
• 通过使用轻量级、注意力驱动的选择机制，降低分类器复杂度并提升训练稳定性。
• 开发一种更具鲁棒性与准确性的音频分类模型，超越现有深度学习方法。
• 通过消除对固定预计算频谱图的依赖，实现端到端训练。

提出的方法

• CAB-CNN架构用可学习的注意力机制替代传统频谱图预处理，从一组简单且专用的分类器中进行选择。
• 列表中的每个分类器均专注于一小撮特定特征，从而降低模型容量与训练复杂度。
• 注意力机制根据输入的相关性动态分配分类器权重，使模型能够优先选择最可信的预测结果。
• 整个网络采用端到端方式进行训练，实现特征提取与分类组件的联合优化。
• 模型使用全连接层实现分类器与注意力机制，完全不依赖手工设计的频谱图。
• 该架构以口音分类为基准任务，在UT-Podcast语料库上进行了评估。

实验结果

研究问题

• RQ1 与传统深度网络相比，一种在多个轻量级分类器中进行选择的注意力机制是否能提升音频分类性能？
• RQ2 是否消除频谱图预处理步骤能带来更好的泛化能力并降低音频分类中的噪声？
• RQ3 使用更简单、更专业的分类器是否能实现比复杂、单体化网络更高的准确率与稳定性？
• RQ4 注意力驱动的分类器选择机制如何影响多个训练运行中的收敛性与鲁棒性？

主要发现

• CAB-CNN在UT-Podcast语料库上实现了95.99%的测试准确率，所有评估指标均较最先进算法提升超过10%。
• 该模型在包括VGG11 A、ResNet18和AttentionCNN在内的现有方法中表现更优，在八次并行测试中平均准确率达到93.70%。
• CAB-CNN展现出卓越的训练稳定性，最佳结果与平均结果之间的性能下降极小，而其他模型则表现出较大波动。
• 注意力机制显著提升了模型鲁棒性，将误分类错误（如混淆英式与澳式口音）减少多达三分之二，相比基线模型。
• 即使在长时长音频输入下，模型性能依然稳定，尽管在极长序列中观察到轻微下降，表明仍有进一步优化空间。
• 该架构通过消除对固定频谱图预处理的依赖，实现了端到端训练，使特征学习与分类的联合优化成为可能。