[论文解读] On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification

Javier Naranjo-Alcazar, Sergi Perez-Castanos+3 more|arXiv (Cornell University)|Jun 26, 2019

Music and Audio Processing参考文献 24被引用 9

一句话总结

本文评估了六种残差块（RB）设计在使用原始波形进行端到端音频分类的1D卷积神经网络中的表现，比较了不同输入归一化方式下的性能。结果表明，RB性能高度依赖于归一化类型，其中RB1和RB2始终优于其他设计，且1D架构在使用log-Mel频谱图时表现优于2D对应模型。

ABSTRACT

Residual learning is a recently proposed learning framework to facilitate the training of very deep neural networks. Residual blocks or units are made of a set of stacked layers, where the inputs are added back to their outputs with the aim of creating identity mappings. In practice, such identity mappings are accomplished by means of the so-called skip or residual connections. However, multiple implementation alternatives arise with respect to where such skip connections are applied within the set of stacked layers that make up a residual block. While ResNet architectures for image classification using convolutional neural networks (CNNs) have been widely discussed in the literature, few works have adopted ResNet architectures so far for 1D audio classification tasks. Thus, the suitability of different residual block designs for raw audio classification is partly unknown. The purpose of this paper is to analyze and discuss the performance of several residual block implementations within a state-of-the-art CNN-based architecture for end-to-end audio classification using raw audio waveforms. For comparison purposes, we analyze as well the performance of the residual blocks under a similar 2D architecture using a conventional time-frequency audio represen-tation as input. The results show that the achieved accuracy is considerably dependent, not only on the specific residual block implementation, but also on the selected input normalization.

研究动机与目标

• 评估各种残差块（RB）设计在1D卷积神经网络中用于使用原始音频波形进行端到端音频分类的性能。
• 分析不同输入归一化技术对这些残差块变体性能的影响。
• 比较使用时频表示（如log-Mel频谱图）的1D残差网络与2D架构在音频分类中的表现。
• 确定1D残差网络在准确率和训练稳定性方面是否相对于2D表示具有优势。
• 为原始音频分类中选择最优RB架构和预处理策略提供实证指导。

提出的方法

• 将图像分类中常用的六种残差块设计改编为适用于原始音频输入的1D卷积神经网络。
• 以先前研究中的基准1D ResNet架构为基础，开展所有实验。
• 应用多种输入归一化技术：无预处理、最小-最大缩放（scale max）和均值-标准差归一化。
• 在两个公开数据集（UrbanSound8k和ESC-10（ESC-50子集））上训练并评估模型。
• 使用Tukey-Kramer方法进行显著性检验，以比较不同RB和归一化方式下的性能差异。
• 将1D残差网络与使用log-Mel频谱图输入的2D ResNet变体进行对比，用于消融实验和基准测试。

实验结果

研究问题

• RQ1 不同残差块设计如何影响1D CNN在原始音频分类中的分类准确率？
• RQ2 输入归一化如何影响各种残差块实现的性能？
• RQ3 1D残差网络是否在音频分类任务中优于使用时频表示的2D架构？
• RQ4 在不同数据集和归一化方案下，残差块设计是否存在一致的性能排名？
• RQ5 在不同预处理条件下，残差块变体之间的性能差异是否具有统计显著性？

主要发现

• 无论采用何种归一化类型，RB1和RB2在UrbanSound8k和ESC-10数据集上始终取得最高的分类准确率。
• 性能显著依赖于残差块设计与输入归一化方式的组合，没有单一RB在所有情况下均表现最优。
• 1D残差网络架构在性能上优于使用log-Mel频谱图的2D ResNet，表明端到端原始音频处理具有优势。
• Tukey-Kramer事后检验揭示了RB之间存在显著的性能差异，尤其是在“无预处理”和“max”归一化条件下，RB2与RB5表现出显著差异。
• 在均值-标准差归一化下，RB3的性能与其他RB显著不同，表明其对这种归一化类型特别敏感。
• 结果表明，为音频设计1D ResNet架构比设计2D架构更简单，因为其超参数更少，且对表示选择的敏感性更低。