[论文解读] MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task

Kota Dohi, Tomoya Nishida+6 more|arXiv (Cornell University)|May 27, 2022

Music and Audio Processing被引用 22

一句话总结

引入 MIMII DG，一个以领域泛化为重点的异常声音检测数据集，每种类型有五种机器、每种类型有三种领域转移场景，用于在未见条件下基准泛化。

ABSTRACT

We present a machine sound dataset to benchmark domain generalization techniques for anomalous sound detection (ASD). Domain shifts are differences in data distributions that can degrade the detection performance, and handling them is a major issue for the application of ASD systems. While currently available datasets for ASD tasks assume that occurrences of domain shifts are known, in practice, they can be difficult to detect. To handle such domain shifts, domain generalization techniques that perform well regardless of the domains should be investigated. In this paper, we present the first ASD dataset for the domain generalization techniques, called MIMII DG. The dataset consists of five machine types and three domain shift scenarios for each machine type. The dataset is dedicated to the domain generalization task with features such as multiple different values for parameters that cause domain shifts and introduction of domain shifts that can be difficult to detect, such as shifts in the background noise. Experimental results using two baseline systems indicate that the dataset reproduces domain shift scenarios and is useful for benchmarking domain generalization techniques.

研究动机与目标

• 在现实世界的工业环境中激励异常声音检测的领域泛化。
• 提供具有多组清晰定义的领域转移的数据集来测试泛化。
• 通过可获取的元数据和基线任务，使领域泛化技术的基准测试成为可能。

提出的方法

• 为五种机器类型构建数据集（风扇、齿轮箱、轴承、滑轨、阀门），每种类型含有三个领域转移部分。
• 引入多样的领域转移参数（运行、环境以及难以检测的转移）和背景工厂噪声。
• 混合背景噪声以创建具有指定信噪比的源域和目标域音频。
• 提供带有清晰标注的领域参数和是否可用的目标域样本的训练与测试分割。
• 提供基线 ASD 系统（自编码器；MobileNetV2）以及跨域的标准基于 AUC 的评估。

实验结果

研究问题

• RQ1 领域转移如何影响多种机器类型的 ASD 性能？
• RQ2 当存在目标域转移时，领域泛化技术能否维持检测性能？
• RQ3 不同的基线模型（无监督与辅助任务）对领域转移的反应是否不同？
• RQ4 评估 ASD 领域泛化需要多少目标域数据？

主要发现

机器类型 / 部分 ID	源域（自编码器）	目标域（自编码器）	源域（MobileNetV2）	目标域（MobileNetV2）
Fan 00	84.69	39.35	71.07	62.13
Fan 01	71.69	44.74	76.26	35.12
Fan 02	80.54	63.49	67.29	58.02
Gearbox 00	64.63	64.79	63.54	67.02
Gearbox 01	67.66	58.12	66.68	66.96
Gearbox 02	75.38	65.57	80.87	43.15
Bearing 00	57.48	63.07	67.85	60.17
Bearing 01	71.03	61.04	59.67	64.65
Bearing 02	42.34	52.91	61.71	60.55
Slide rail 00	81.92	58.04	87.15	80.77
Slide rail 01	67.85	50.30	49.66	32.07
Slide rail 02	86.66	38.78	72.70	32.94
Valve 00	54.24	52.73	75.26	43.60
Valve 01	50.45	53.01	54.78	60.43
Valve 02	51.56	43.84	76.26	78.74

• 自编码器基线的源域平均 AUC 为 67.21%，目标域 AUC 为 53.99%。
• MobileNetV2 基线的源域平均 AUC 为 68.72%，目标域 AUC 为 56.42%。
• 平均而言，目标域 AUC 比源域低 13.2 个百分点（自编码器）和低 12.3 个百分点（MobileNetV2）。
• 对目标域数据检测性能的显著下降表明领域转移场景已成功复现。
• 数据集提供多样的领域转移参数值（每个转移至少三个值）以支持稳健的泛化基准测试。
• 基线结果表明领域转移会显著降低 ASD 性能，验证 MIMII DG 作为有用的基准。