[论文解读] Mixup-Based Acoustic Scene Classification Using Multi-Channel Convolutional Neural Network

Kele Xu, Dawei Feng+6 more|arXiv (Cornell University)|May 18, 2018

Music and Audio Processing被引用 7

一句话总结

本文提出一种结合混元数据增强（mixup）的多通道卷积神经网络（CNN），以提升声学场景分类（ASC）性能。通过利用多通道音频中的空间线索，并在混元方法生成的线性插值样本上进行训练，该方法实现了更高的准确率和更低的泛化误差，在使用Xception架构和mixup（α=0.5）时达到74.5%的测试准确率，相比单通道CNN和传统高斯混合模型（GMM）基线模型提升了2–3%。

ABSTRACT

Audio scene classification, the problem of predicting class labels of audio scenes, has drawn lots of attention during the last several years. However, it remains challenging and falls short of accuracy and efficiency. Recently, Convolutional Neural Network (CNN)-based methods have achieved better performance with comparison to the traditional methods. Nevertheless, conventional single channel CNN may fail to consider the fact that additional cues may be embedded in the multi-channel recordings. In this paper, we explore the use of Multi-channel CNN for the classification task, which aims to extract features from different channels in an end-to-end manner. We conduct the evaluation compared with the conventional CNN and traditional Gaussian Mixture Model-based methods. Moreover, to improve the classification accuracy further, this paper explores the using of mixup method. In brief, mixup trains the neural network on linear combinations of pairs of the representation of audio scene examples and their labels. By employing the mixup approach for data argumentation, the novel model can provide higher prediction accuracy and robustness in contrast with previous models, while the generalization error can also be reduced on the evaluation data.

研究动机与目标

• 通过利用多通道音频特征中包含的额外空间线索（单通道处理无法捕捉），提升声学场景分类的准确性。
• 通过应用混元（mixup）这一数据增强技术，缓解深度CNN在ASC任务中的过拟合问题，该技术通过在训练样本及其标签的凸组合上进行训练。
• 评估混元是否能提升泛化能力，并缩小交叉验证集与测试集性能之间的差距。
• 基于多通道CNN与混元方法，建立声学场景分类的新基线，验证其在DCASE 2017基准上的有效性。

提出的方法

• 设计了一种多通道CNN架构，可同时处理左、右声道音频信号，实现对空间特征与谱时序特征的端到端联合学习。
• 网络采用标准CNN层（如VGGNet和Xception）从零开始训练，不使用预训练权重，以确保公平比较。
• 通过将音频特征对及其对应的一维热编码标签进行线性组合，生成虚拟训练样本，实现混元数据增强，其强度由超参数α控制。
• 混元损失通过原始样本与混合样本的交叉熵损失的加权平均计算，以鼓励决策边界更加平滑。
• 实验基于DCASE 2017 ASC数据集，采用四折交叉验证，并在保留的测试集上进行评估，比较单通道与多通道模型的性能。
• 通过测试不同的α值（0.0、0.2、0.5、0.8）以确定最优的混元强度，结果表明α=0.5时性能最佳。

实验结果

研究问题

• RQ1 与单通道CNN相比，多通道CNN是否能通过捕捉音频记录中的空间多样性来提升声学场景分类的准确率？
• RQ2 基于混元的数据增强是否能降低深度学习方法在ASC任务中的过拟合现象并提升泛化能力？
• RQ3 在DCASE 2017数据集上，声学场景分类的最优混元超参数α值是多少？
• RQ4 将混元应用于多通道特征时，是否能提升性能，并缩小验证集与测试集之间的性能差距？
• RQ5 将混元直接应用于原始音频信号是否有效，还是在对数梅尔倒谱图上应用更有效？

主要发现

• 采用Xception架构的多通道CNN在交叉验证中达到85.4%的准确率，测试集准确率为74.5%，显著优于单通道Xception模型（测试集准确率72.1%）。
• 在α=0.5的混元设置下，多通道Xception模型的测试准确率达到76.7%，较无混元的版本（74.5%）提升了2.2个百分点。
• 混元方法将基线模型中交叉验证与测试准确率之间的差距（10.9%至14.2%）缩小至9%以下，表明模型鲁棒性显著提升。
• 采用混元（α=0.5）的多通道VGGNet模型在交叉验证中达到86.9%准确率，测试集准确率为73.2%，优于无混元基线（84.7%与71.5%），表现一致提升。
• Xception架构在所有设置中均优于VGGNet，因其通过深度可分离卷积能更有效地学习多尺度特征，从而获得更高准确率。
• 在所有配置中，α=0.5的混元设置表现最佳；而更高的α值（如0.8）导致性能下降，表明存在最优的插值强度。