[论文解读] Description and Discussion on DCASE 2023 Challenge Task 2: First-Shot Unsupervised Anomalous Sound Detection for Machine Condition Monitoring

Kota Dohi, Keisuke Imoto+8 more|arXiv (Cornell University)|May 13, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本论文介绍了 DCASE 2023 挑战赛任务 2，聚焦于针对新型机器类型的少样本无监督异常声音检测，其中模型仅在单个新机器类型段落上进行训练，且不包含任何先前的异常数据。表现优异的关键技术包括：通过过采样缓解类别不平衡，利用 Mixup 生成合成数据，以及借助多个大型预训练模型进行鲁棒的嵌入提取，从而在数据有限且存在领域偏移的目标条件下显著提升了检测性能。

ABSTRACT

We present the task description of the Detection and Classification of Acoustic Scenes and Events (DCASE) 2023 Challenge Task 2: ``First-shot unsupervised anomalous sound detection (ASD) for machine condition monitoring''. The main goal is to enable rapid deployment of ASD systems for new kinds of machines without the need for hyperparameter tuning. In the past ASD tasks, developed methods tuned hyperparameters for each machine type, as the development and evaluation datasets had the same machine types. However, collecting normal and anomalous data as the development dataset can be infeasible in practice. In 2023 Task 2, we focus on solving the first-shot problem, which is the challenge of training a model on a completely novel machine type. Specifically, (i) each machine type has only one section (a subset of machine type) and (ii) machine types in the development and evaluation datasets are completely different. Analysis of 86 submissions from 23 teams revealed that the keys to outperform baselines were: 1) sampling techniques for dealing with class imbalances across different domains and attributes, 2) generation of synthetic samples for robust detection, and 3) use of multiple large pre-trained models to extract meaningful embeddings for the anomaly detector.

研究动机与目标

• 解决在数据极少且无需超参数调优的情况下，将异常声音检测（ASD）系统部署于全新机器类型中的挑战。
• 克服以往 DCASE 任务依赖多个机器 ID 或开发集与评估集共享机器类型所带来的局限性。
• 实现在真实工业环境中快速部署 ASD 系统，其中收集正常与异常数据在实际中不可行。
• 应对由运行和环境变化引起的领域偏移问题，这些变化会降低模型在未见条件下的性能。
• 开发可在无需微调或标注异常数据的情况下，泛化至全新机器类型的方法。

提出的方法

• 仅使用来自新型机器类型单个段落的正常声音样本训练异常检测器，模拟少样本学习场景。
• 应用过采样技术（如 SMOTE 和特定类别的重复）以缓解跨领域和属性的类别不平衡问题。
• 使用 Mixup 及其变体生成合成正常样本，以更好地建模正常声音数据的分布并提升鲁棒性。
• 利用多个大型预训练模型（例如用于音频分类的模型）提取高层嵌入，以捕捉用于异常检测的判别性特征。
• 通过微调预训练模型训练属性或机器类型分类器，以提升基于 k-NN 的异常检测所用嵌入的质量。
• 根据团队策略，将生成的合成样本视为正常数据以增强模型泛化能力，或作为独立类别处理。

实验结果

研究问题

• RQ1 如何在仅有单个段落且无先前数据的情况下，有效应用无监督异常声音检测于完全新型的机器类型？
• RQ2 在将 ASD 模型部署于未见的机器类型时，哪些技术最能缓解因领域偏移导致的性能下降？
• RQ3 在类别不平衡和领域偏移条件下，合成数据生成与采样策略在多大程度上能提升检测性能？
• RQ4 多个大型预训练模型是否能提升低数据场景下异常检测的嵌入质量和泛化能力？
• RQ5 在开发数据上训练的模型性能，能在多大程度上泛化至具有完全不同的机器类型和领域偏移的评估数据？

主要发现

• 表现最佳的团队在源域中的 AUC 显著高于基线方法，证明了先进数据与模型技术的有效性。
• 使用 Mixup 及其变体生成合成数据显著提升了源域 AUC，且是排名靠前团队的普遍策略。
• SMOTE 和特定类别重复等过采样技术被顶尖团队用于缓解跨领域和属性的类别不平衡问题。
• 利用多个大型预训练模型进行属性或机器类型分类，提升了嵌入质量，并对官方得分提升有显著贡献。
• 大多数团队在目标域中的 AUC 均低于源域 AUC，凸显了针对新型机器类型时领域偏移问题的持续挑战。
• 排名第一、第二和第三的团队首次采用多个大型预训练模型作为分类头，成为性能差异的关键因素。