[论文解读] Acoustic Scene Classification with Spectrogram Processing Strategies

Helin Wang, Yuexian Zou+1 more|arXiv (Cornell University)|Jul 6, 2020

Music and Audio Processing参考文献 17被引用 11

一句话总结

本文提出了三种光谱图处理策略——SPSMR（多表征）、SPSMF（多频带）和SPSMT（多时间帧）——以提升使用卷积神经网络（CNN）的声学场景分类（ASC）性能。通过为每种光谱图类型应用独立的网络并在推理阶段融合预测结果，该方法在DCASE 2020 Task1A上达到81.8%的准确率（基线为54.1%），在Task1B上达到92.1%的准确率（基线为87.3%），显著优于基线方法及特征级融合方法。

ABSTRACT

Recently, convolutional neural networks (CNN) have achieved the state-of-the-art performance in acoustic scene classification (ASC) task. The audio data is often transformed into two-dimensional spectrogram representations, which are then fed to the neural networks. In this paper, we study the problem of efficiently taking advantage of different spectrogram representations through discriminative processing strategies. There are two main contributions. The first contribution is exploring the impact of the combination of multiple spectrogram representations at different stages, which provides a meaningful reference for the effective spectrogram fusion. The second contribution is that the processing strategies in multiple frequency bands and multiple temporal frames are proposed to make fully use of a single spectrogram representation. The proposed spectrogram processing strategies can be easily transferred to any network structures. The experiments are carried out on the DCASE 2020 Task1 datasets, and the results show that our method could achieve the accuracy of 81.8% (official baseline: 54.1%) and 92.1% (official baseline: 87.3%) on the officially provided fold 1 evaluation dataset of Task1A and Task1B, respectively.

研究动机与目标

• 通过有效利用多样化的光谱图表征来提升声学场景分类（ASC）的性能。
• 解决在复杂声学环境中从光谱图中提取判别性特征的挑战。
• 开发可泛化的光谱图处理策略，以增强基于CNN的ASC性能，且无需修改网络结构。
• 评估在多种光谱图类型及空间/时间子区域上进行决策级融合的有效性。
• 证明所提出的处理策略可适用于不同网络架构和数据集。

提出的方法

• SPSMR（Spectrogram Processing Strategy in Multiple Representations）使用四个独立的CNN分别处理对数梅尔、CQT、伽马（Gamma）和MFCC光谱图，随后通过决策级融合结合预测结果。
• SPSMF（Spectrogram Processing Strategy in Multiple Frequency Bands）将光谱图划分为子频带，每个子频带由独立的CNN处理，并在推理阶段融合预测结果。
• SPSMT（Spectrogram Processing Strategy in Multiple Temporal Frames）将光谱图按时间片段分割，每个时间片段由CNN处理，并通过平均或投票方式合并输出。
• 这些策略设计为模块化且可迁移，可无缝集成到任意CNN架构中，无需修改主干网络。
• 采用决策级融合而非特征级融合，以保留各类表征的判别性能力并提升模型鲁棒性。
• 该方法在DCASE 2020 Task1A和Task1B数据集上使用官方的fold-1评估划分进行评估。

实验结果

研究问题

• RQ1 通过独立网络处理多种光谱图表征并结合决策级融合，能否提升ASC性能？
• RQ2 在频率或时间域对光谱图进行子带处理是否能提升模型的鲁棒性和准确率？
• RQ3 与特征级融合方法相比，所提出的策略在准确率和参数效率方面表现如何？
• RQ4 所提出的处理策略是否可在不同CNN架构和数据集配置下实现泛化？
• RQ5 子光谱图处理对低信噪比或复杂声学场景下模型性能有何影响？

主要发现

• 所提出的SPSMR + SPSMF + SPSMT策略在DCASE 2020 Task1A上达到81.8%的准确率和0.694的对数损失，显著优于官方基线的54.1%准确率和1.365的对数损失。
• 在Task1B上，该方法达到92.1%的准确率和0.312的对数损失，超越官方基线的87.3%准确率和0.437的对数损失。
• 仅使用SPSMR即达到79.4%的准确率，证明了在多种光谱图类型间进行决策级融合的有效性。
• SPSMT在不增加模型参数量的前提下提升了性能，显示出其高效性与鲁棒性。
• SPSMF与SPSMT在单表征模型上均提升了准确率，其中SPSMF在伽马（Gamma）和对数梅尔（Log-Mel）光谱图上表现更优。
• 与所提出的决策级融合相比，特征级融合方法（如EF和LF）表现较差，尤其在引入判别性较弱的特征（如MFCC）时更为明显。