[論文レビュー] MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task

Kota Dohi, Tomoya Nishida+6 more|arXiv (Cornell University)|May 27, 2022

Music and Audio Processing被引用数 22

ひとこと要約

見えない条件での一般化を評価するため、5種の機械タイプと各タイプにつき3つのドメインシフトシナリオを備えた、ドメイン一般化に焦点を当てた異常音検出データセット「MIMII DG」を導入する。

ABSTRACT

We present a machine sound dataset to benchmark domain generalization techniques for anomalous sound detection (ASD). Domain shifts are differences in data distributions that can degrade the detection performance, and handling them is a major issue for the application of ASD systems. While currently available datasets for ASD tasks assume that occurrences of domain shifts are known, in practice, they can be difficult to detect. To handle such domain shifts, domain generalization techniques that perform well regardless of the domains should be investigated. In this paper, we present the first ASD dataset for the domain generalization techniques, called MIMII DG. The dataset consists of five machine types and three domain shift scenarios for each machine type. The dataset is dedicated to the domain generalization task with features such as multiple different values for parameters that cause domain shifts and introduction of domain shifts that can be difficult to detect, such as shifts in the background noise. Experimental results using two baseline systems indicate that the dataset reproduces domain shift scenarios and is useful for benchmarking domain generalization techniques.

研究の動機と目的

• 実世界の産業現場での異常音検出に対するドメイン一般化を動機づける。
• 一般化を評価するために、複数の明確に定義されたドメインシフトを含むデータセットを提供する。
• アクセス可能なメタデータとベースラインタスクを備え、ドメイン一般化技術のベンチマーキングを可能にする。

提案手法

• ファン、ギアボックス、ベアリング、スライドレール、バルブの5つの機械タイプのデータセットを、それぞれ3つのドメインシフト区分とともに構築する。
• 運用的、環境的、検出が困難なシフトを含む多様なドメインシフトパラメータと、背景の工場ノイズを導入する。
• 指定されたSNRでソースドメインとターゲットドメインの音声を作成するために背景ノイズを混ぜる。
• ターゲットドメインのサンプルの可用性とともに、明確にラベル付けされたドメインパラメータを用いた訓練・テスト分割を提供する。
• ベースラインASDシステム（オートエンコーダ；MobileNetV2）と、ドメインを横断する標準のAUCベース評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 複数の機械タイプにわたるドメインシフトがASDの性能にどう影響するか？
• RQ2 ターゲットドメインのシフトが存在する場合、ドメイン一般化技術は検出性能を維持できるか？
• RQ3 異なるベースラインモデル（教師なしと補助タスク）はドメインシフトに異なる反応を示すか？
• RQ4 ASDにおけるドメイン一般化を評価するには、ターゲットドメインデータのどの程度が必要か？

主な発見

Machine type / section ID	Source (Autoencoder)	Target (Autoencoder)	Source (MobileNetV2)	Target (MobileNetV2)
Fan 00	84.69	39.35	71.07	62.13
Fan 01	71.69	44.74	76.26	35.12
Fan 02	80.54	63.49	67.29	58.02
Gearbox 00	64.63	64.79	63.54	67.02
Gearbox 01	67.66	58.12	66.68	66.96
Gearbox 02	75.38	65.57	80.87	43.15
Bearing 00	57.48	63.07	67.85	60.17
Bearing 01	71.03	61.04	59.67	64.65
Bearing 02	42.34	52.91	61.71	60.55
Slide rail 00	81.92	58.04	87.15	80.77
Slide rail 01	67.85	50.30	49.66	32.07
Slide rail 02	86.66	38.78	72.70	32.94
Valve 00	54.24	52.73	75.26	43.60
Valve 01	50.45	53.01	54.78	60.43
Valve 02	51.56	43.84	76.26	78.74

• オートエンコーダベースラインは、平均ソースAUCが67.21%、ターゲットAUCが53.99を示す。
• MobileNetV2ベースラインは、平均ソースAUCが68.72%、ターゲットAUCが56.42%を示す。
• 平均すると、ターゲットドメインのAUCはソースドメインのAUCより、オートエンコーダで13.2ポイント、MobileNetV2で12.3ポイント低い。
• ターゲットドメインデータでの検出性能の著しい低下は、ドメインシフトシナリオの再現性が成功したことを示す。
• データセットは、堅牢な一般化ベンチマークを支えるため、各シフトにつき少なくとも3つの値を含む多様なドメインシフトパラメータ値を提供する。
• ベースライン結果は、ドメインシフトがASDの性能を大幅に妨げる可能性を示しており、MIMII DGを有用なベンチマークとして検証している。