[论文解读] Improving Sound Event Classification by Increasing Shift Invariance in Convolutional Neural Networks

Eduardo Fonseca, Andrés Ferraro+1 more|arXiv (Cornell University)|Jul 1, 2021

Music and Audio Processing参考文献 22被引用 4

一句话总结

本文提出两种新型池化方法——可学习低通滤波（TLPF）与自适应多相采样（APS），以提升卷积神经网络在声事件分类任务中的平移不变性。通过在FSD50K数据集上的VGG模型中引入这些方法，作者以极低的计算成本和可忽略的参数增加，实现了新的最先进mAP指标（0.541）。

ABSTRACT

Recent studies have put into question the commonly assumed shift invariance property of convolutional networks, showing that small shifts in the input can affect the output predictions substantially. In this paper, we analyze the benefits of addressing lack of shift invariance in CNN-based sound event classification. Specifically, we evaluate two pooling methods to improve shift invariance in CNNs, based on low-pass filtering and adaptive sampling of incoming feature maps. These methods are implemented via small architectural modifications inserted into the pooling layers of CNNs. We evaluate the effect of these architectural changes on the FSD50K dataset using models of different capacity and in presence of strong regularization. We show that these modifications consistently improve sound event classification in all cases considered. We also demonstrate empirically that the proposed pooling methods increase shift invariance in the network, making it more robust against time/frequency shifts in input spectrograms. This is achieved by adding a negligible amount of trainable parameters, which makes these methods an appealing alternative to conventional pooling layers. The outcome is a new state-of-the-art mAP of 0.541 on the FSD50K classification benchmark.

研究动机与目标

• 解决卷积神经网络在声事件分类中缺乏平移不变性的问题，该问题已被证明会降低对频谱图中微小时间/频率偏移的鲁棒性。
• 探究对池化层进行网络架构修改是否能在不依赖数据增强或迁移学习的前提下提升鲁棒性与性能。
• 评估抗混叠低通滤波与自适应采样技术在提升音频任务中CNN平移不变性方面的有效性。
• 证明这些修改在不同容量的模型上以及在强正则化条件下均能带来一致的性能提升。
• 仅通过架构调整在FSD50K基准上实现最先进性能，避免依赖ImageNet预训练或复杂集成模型。

提出的方法

• 在最大池化层前引入可学习低通滤波器（TLPF），以抑制导致混叠的高频分量，降低对平移的敏感性。
• 将非可学习低通滤波器（BlurPool）作为基线进行比较，采用5×5卷积核与预设权重以模拟抗混叠效果。
• 应用自适应多相采样（APS）动态选择基于能量最大化的最优采样网格，避免固定下采样网格引发的平移方差。
• 将TLPF与APS集成至VGG变体（VGG41与VGG42）的池化层中，在保持原始网络架构的同时增强平移不变性。
• 使用mixup增强作为强正则化手段，确保实验中模型的泛化性与稳定性。
• 在FSD50K数据集上训练模型，并通过mAP与d′评估性能；通过受控的频谱图扰动实验进行平移鲁棒性消融研究。

实验结果

研究问题

• RQ1 CNN在声事件分类中因缺乏平移不变性而性能下降是否属实？
• RQ2 对池化层进行架构修改——特别是低通滤波与自适应采样——是否能有效提升平移不变性与分类鲁棒性？
• RQ3 在音频标记任务的CNN中应用TLPF与APS时，两者在性能增益与计算成本方面如何比较？
• RQ4 这些方法是否能在不依赖ImageNet预训练或模型集成的情况下实现最先进性能？
• RQ5 这些修改在多大程度上增强了对输入频谱图中时间与频率偏移的鲁棒性？

主要发现

• 所提出的TLPF与APS池化方法在FSD50K基准上对不同容量的模型均能持续提升声事件分类性能。
• TLPF5x5与l1范数结合的APS方法达到最高mAP（0.541），创下FSD50K的新最先进记录。
• 经过增强平移不变性的模型在时间与频率偏移下表现出更稳定的预测结果，扰动实验显示得分波动显著降低。
• TLPF5x5仅增加6k–12k个可学习参数（占总参数量的0.24–0.50%），而APS不增加任何参数，两者均具有高度效率。
• 即使在强正则化（mixup）条件下，性能提升依然稳定，表明增益并非源于过拟合，而是真正源于不变性增强。
• 最佳模型（0.541 mAP）的性能略高于近期基于Transformer的模型（0.537 mAP），尽管其架构更简单且未使用外部预训练。