[论文解读] CNN depth analysis with different channel inputs for Acoustic Scene Classification

Sergi Perez-Castanos, Javier Naranjo-Alcazar+3 more|arXiv (Cornell University)|Jun 10, 2019

Music and Audio Processing参考文献 24被引用 5

一句话总结

该论文提出了一种基于CNN的声学场景分类系统，采用优化的音频表征和集成学习方法，适用于实时边缘部署。结果表明，将谐波与打击乐分量结合(L-R)立体声差值，并采用几何平均集成聚合方法，可实现最高准确率（开发集上为77.06%），优于单模型及其他集成方法。

ABSTRACT

Acoustic scene classification (ASC) has been approached in the last years using deep learning techniques such as convolutional neural networks or recurrent neural networks. Many state-of-the-art solutions are based on image classification frameworks and, as such, a 2D representation of the audio signal is considered for training these networks. Finding the most suitable audio representation is still a research area of interest. In this paper, different log-Mel representations and combinations are analyzed. Experiments show that the best results are obtained using the harmonic and percussive components plus the difference between left and right stereo channels, (L-R). On the other hand, it is a common strategy to ensemble different models in order to increase the final accuracy. Even though averaging different model predictions is a common choice, an exhaustive analysis of different ensemble techniques has not been presented in ASC problems. In this paper, geometric and arithmetic mean plus the Ordered Weighted Averaging (OWA) operator are studied as aggregation operators for the output of the different models of the ensemble. Finally, the work carried out in this paper is highly oriented towards real-time implementations. In this context, as the number of applications for audio classification on edge devices is increasing exponentially, we also analyze different network depths and efficient solutions for aggregating ensemble predictions.

研究动机与目标

• 研究不同音频输入表征对基于CNN的声学场景分类准确率的影响。
• 评估不同集成技术（算术平均、几何平均和OWA）在组合多个CNN预测结果方面的有效性。
• 分析在实时边缘部署场景下，网络深度、推理速度与准确率之间的权衡。
• 识别出最优的音频特征与集成聚合组合，以实现高准确率、低延迟的ASC系统。
• 为资源受限设备提供一种实用且高效的实时声学场景分类解决方案。

提出的方法

• 系统使用40ms窗长、50%重叠、汉明窗和64频带梅尔滤波器组的对数梅尔倒谱图作为基础输入表征。
• 通过HPSS提取谐波与打击乐分量，并与(L-R)立体声差值结合，形成多通道输入。
• 训练并评估三种不同深度（0.5M至1.5M参数）的CNN架构，以权衡推理速度与准确率。
• 集成方法包括算术平均、几何平均以及有序加权平均（OWA），并采用类似与门的加权向量进行输出融合。
• 在不同配置下组合输入表征，并在所有网络上测试，以识别最优的输入组合。
• 所有模型均在DCASE 2019 ASC挑战数据集上进行训练与评估，未使用数据增强。

实验结果

研究问题

• RQ1 在基于CNN的声学场景分类中，哪种音频输入表征——单声道、立体声、谐波、打击乐或其组合——能实现最高的分类准确率？
• RQ2 不同集成聚合技术（算术平均、几何平均、OWA）在性能与鲁棒性方面如何比较？
• RQ3 在实时边缘部署场景下，CNN深度对准确率与推理时间有何影响？
• RQ4 使用结合HPD与(L-R)的多通道输入是否能提升性能，优于标准的对数梅尔倒谱图？
• RQ5 是否可通过简单集成方法在不增加模型复杂度或推理延迟的前提下，超越单个模型的性能？

主要发现

• 谐波与打击乐分量结合(L-R)立体声差值（HPD）在所有网络中均实现了最高准确率，优于单声道和单通道输入。
• 几何平均集成聚合在开发集上表现最佳，准确率达到77.06%，优于算术平均和OWA。
• 采用类似与门的加权向量的OWA也提升了性能，表明最终输出需要所有模型的高置信度预测。
• 更深的网络（1.5M参数）并未始终优于更浅的网络（0.5M参数），表明模型深度本身并不能保证更高的准确率。
• HPD输入表征实现了最高准确率（77.06%），且此前未在文献中提出，构成一项新颖贡献。
• 采用几何平均的集成方法在“街道交通”类别上达到86.7%的准确率，为所有类别和方法中的最高值。