[论文解读] Acoustic scene classification in DCASE 2020 Challenge: generalization across devices and low complexity solutions

Toni Heittola, Annamaria Mesaros+1 more|arXiv (Cornell University)|May 29, 2020

Music and Audio Processing参考文献 18被引用 40

一句话总结

本文分析了 DCASE 2020 Task 1，包含两个子任务：用于声学场景分类的跨设备泛化与低复杂度模型，并给出数据集、基线和顶尖系统。

ABSTRACT

This paper presents the details of Task 1: Acoustic Scene Classification in the DCASE 2020 Challenge. The task consists of two subtasks: classification of data from multiple devices, requiring good generalization properties, and classification using low-complexity solutions. Here we describe the datasets and baseline systems. After the challenge submission deadline, challenge results and analysis of the submissions will be added.

研究动机与目标

• 在包括未见设备在内的多设备上调查 ASC 模型的泛化能力。
• 在严格的大小限制内开发与评估低复杂度 ASC 模型。
• 分析并比较数据增强、量化/剪枝策略作为关键技术。

提出的方法

• 为 Subtask A 引入带有真实设备和仿真设备的 TAU Urban Acoustic Scenes 2020 Mobile 数据集。
• 对 Subtask A 基线使用 Open L3 嵌入与 CNN/MLP 基线。
• 对 Subtask B 设置 500 KB 的模型大小限制，并探索精简模型、剪枝和量化。
• 使用宏平均准确率和多类交叉熵（对数损失）评估提交。
• 报告表现最好的系统和常见技术，如数据增强和后训练量化。

实验结果

研究问题

• RQ1 ASC 模型在包括未见设备在内的大量设备上泛化能力如何？
• RQ2 在严格的大小约束下，哪些低复杂度建模技术能在维持高精度的同时实现？
• RQ3 哪些数据增强和量化策略最有效地应对设备不匹配与资源限制？

主要发现

系统	#	准确率	对数损失	大小	参数	权重	备注
Koutini_CPJKU_2	1	96.5 %	0.10	483.5 KB	345k	float16	pruning, post-training quantization
Hu_GT_3	3	96.0 %	0.12	490.0 KB	122k	int8	post-training quantization
McDonnell_USA_3	4	95.9 %	0.11	486.7 KB	3M	1-bit
Suh_ETRI_3	11	95.1 %	0.27	413.0 KB	207k	float16	sparse connectivity models, ensemble
Chang_QTI_1	12	95.0 %	0.22	491.2 KB	601k	float16	pruning, weight sharing across layers
Wu_CUHK_4	14	94.9 %	0.21	299.3 KB	153k	float16	depth-wise separable CNN
Lee_CAU_2	23	93.9 %	0.15	494.2 KB	126k	float32	slim model
Naranjo-Alcazar_Vfy_1	24	93.6 %	0.20	496.3 KB	127k	float32	slim model
Kwiatkowska_SRPOL_2	27	93.5 %	0.16	421.0 KB	107k	float32	depth-wise separable CNN, ensemble
Yang_UESTC_3	26	93.5 %	0.22	258.0 KB	119k	float16	slim model
Baseline	-	89.5 %	0.40	450.1 KB	115k	float32	slim model

• 子任务 A 在评估集上达到最高 76.5% 的准确率，基线为 51.4%。
• 子任务 B 在 500 KB 模型大小限制下最高达到 96.5% 的准确率（基线 89.5%）。
• 数据增强是子任务 A 中实现设备泛化的主导技术。
• 后训练量化和其他模型压缩技术使许多提交达到子任务 B 的限制。
• 若干顶尖系统是集成模型或基于 CNN 的，具有 ResNet 或注意力启发式结构。
• 未见设备显著挑战准确性，但许多方案在见/未见设备上保持强泛化。