[论文解读] Low-complexity acoustic scene classification for multi-device audio: analysis of DCASE 2021 Challenge systems

Irene Martín-Morató, Toni Heittola+2 more|arXiv (Cornell University)|May 28, 2021

Music and Audio Processing参考文献 17被引用 32

一句话总结

分析 DCASE 2021 Task 1A 在多设备条件下的低复杂度声场分类，详细介绍基线、提交结果和在128 KB模型大小约束下的顶尖系统。

ABSTRACT

This paper presents the details of Task 1A Acoustic Scene Classification in the DCASE 2021 Challenge. The task targeted development of low-complexity solutions with good generalization properties. The provided baseline system is based on a CNN architecture and post-training quantization of parameters. The system is trained using all the available training data, without any specific technique for handling device mismatch, and obtains an overall accuracy of 47.7%, with a log loss of 1.473. The task received 99 submissions from 30 teams, and most of the submitted systems outperformed the baseline. The most used techniques among the submissions were residual networks and weight quantization, with the top systems reaching over 70% accuracy, and log loss under 0.8. The acoustic scene classification task remained a popular task in the challenge, despite the increasing difficulty of the setup.

研究动机与目标

• 研究在严格模型大小约束下对设备不匹配的鲁棒性在声学场景分类中的表现。
• 评估低复杂度模型在看到/未看到的设备和城市之间的泛化情况。
• 鉴定在128 KB下能实现高准确度的有效技术（数据增强、剪枝、量化、蒸馏）。
• 为受限设备提供关于架构选择（残差网络、MobileNet/EfficientNet变体）的见解。

提出的方法

• 使用 TAU Urban Acoustic Scenes 2020 Mobile 数据集，包含11个设备（A,B,C,D 为真实；S1-S11 为模拟）和10类场景。
• 将模型大小限定为128 KB的非零参数上限，复杂度计算中不计特征提取。
• 基线 CNN 使用 40 个 log mel-band energies，训练后进行 16 位量化，且使用 10 秒片段。
• 使用宏平均交叉熵（对数损失）和精度以及 jackknife 置信区间来排名评估提交结果。
• 分析顶级提交在特征选择、数据增强和在复杂度约束下的架构。
• 比较设备已见/未见和城市已见/未见的表现以评估泛化。

实验结果

研究问题

• RQ1 在128 KB参数预算内，多设备不匹配条件下，低复杂度 ASC 模型的表现如何？
• RQ2 最大化跨设备与跨城市泛化的最有效技术有哪些（数据增强、剪枝、量化、蒸馏）？
• RQ3 已见设备与未见设备之间、已见城市与未见城市之间的表现差异？
• RQ4 在受限设备的 ASC 中，哪些架构在准确性与模型大小之间取得最佳平衡？
• RQ5 域自适应或学习技术在多大程度上提高对设备不匹配的鲁棒性？

主要发现

• 基线 128 KB-capable CNN，使用 float16 量化，在开发数据上达到 47.7% 的准确率和 1.473 的对数损失。
• 顶级提交的准确率超过 70%，对数损失低于 0.8，使用残差网络与权重量化。
• 大多数顶级系统保持在约110–126 KB的大小范围，接近上限；一个极小模型（29 KB）使用激进剪枝和 16 位量化。
• 在已见设备(A,B,C,S1–S3)上的表现高于未见设备(D,S7–S11)，对排名较低的系统差距更大。
• 已见城市与未见城市的表现相关性很高（0.95），但已见设备与未见设备的相关性较弱（0.91），表明设备不匹配是主要的泛化挑战。
• 残差归一化、领域对抗训练、数据增强（mixup、specAugment）提升泛化；知识蒸馏在排名中尤为有效。