[논문 리뷰] MIMII DG: Sound Dataset for Malfunctioning Industrial Machine Investigation and Inspection for Domain Generalization Task

Kota Dohi, Tomoya Nishida외 6명|arXiv (Cornell University)|2022. 05. 27.

Music and Audio Processing인용 수 22

한 줄 요약

요약: 도메인 일반화에 초점을 맞춘 이상음 탐지 데이터셋 MIMII DG를 소개한다. 이는 다섯 가지 기계 유형과 유형당 세 가지 도메인 시프트 시나리오로 구성되어 보지 않은 조건에서 일반화를 벤치마크하기 위한 것이다.

ABSTRACT

We present a machine sound dataset to benchmark domain generalization techniques for anomalous sound detection (ASD). Domain shifts are differences in data distributions that can degrade the detection performance, and handling them is a major issue for the application of ASD systems. While currently available datasets for ASD tasks assume that occurrences of domain shifts are known, in practice, they can be difficult to detect. To handle such domain shifts, domain generalization techniques that perform well regardless of the domains should be investigated. In this paper, we present the first ASD dataset for the domain generalization techniques, called MIMII DG. The dataset consists of five machine types and three domain shift scenarios for each machine type. The dataset is dedicated to the domain generalization task with features such as multiple different values for parameters that cause domain shifts and introduction of domain shifts that can be difficult to detect, such as shifts in the background noise. Experimental results using two baseline systems indicate that the dataset reproduces domain shift scenarios and is useful for benchmarking domain generalization techniques.

연구 동기 및 목표

• 현실 세계의 산업 환경에서 이상음 탐지에 대한 도메인 일반화를 촉진한다.
• 다중의 명확하게 정의된 도메인 시프트를 가진 데이터셋을 제공하여 일반화를 테스트한다.
• 접근 가능한 메타데이터와 베이스라인 작업을 통해 도메인 일반화 기법의 벤치마킹을 가능하게 한다.

제안 방법

• 다섯 가지 기계 유형 데이터셋(팬, 기어박스, 베어링, 슬라이드 레일, 밸브)을 각기 세 가지 도메인 시프트 섹션으로 구성한다.
• 운영, 환경 및 탐지하기 어려운 시프트를 포함한 다양한 도메인 시프트 매개변수와 배경 공장 소음을 도입한다.
• 지정된 SNR으로 소스 도메인과 타깃 도메인 오디오를 생성하기 위해 배경 소음을 혼합한다.
• 훈련 및 테스트 분할을 명확하게 라벨링된 도메인 매개변수와 타깃 도메인 샘플의 가용성을 제공한다.
• 베이스라인 ASD 시스템(오토인코더; MobileNetV2)과 도메인 간 표준 AUC 기반 평가를 제공한다.

실험 결과

연구 질문

• RQ1 도메인 시프트가 여러 기계 유형에서 ASD 성능에 어떤 영향을 미치는가?
• RQ2 타깃 도메인 시프트가 존재할 때 도메인 일반화 기법은 탐지 성능을 유지할 수 있는가?
• RQ3 다른 베이스라인 모델(비지도 학습 vs 보조 작업)이 도메인 시프트에 다르게 반응하는가?
• RQ4 ASD에서 도메인 일반화를 평가하려면 타깃 도메인 데이터의 수준은 어느 정도가 필요한가?

주요 결과

Machine type / section ID	Source (Autoencoder)	Target (Autoencoder)	Source (MobileNetV2)	Target (MobileNetV2)
Fan 00	84.69	39.35	71.07	62.13
Fan 01	71.69	44.74	76.26	35.12
Fan 02	80.54	63.49	67.29	58.02
Gearbox 00	64.63	64.79	63.54	67.02
Gearbox 01	67.66	58.12	66.68	66.96
Gearbox 02	75.38	65.57	80.87	43.15
Bearing 00	57.48	63.07	67.85	60.17
Bearing 01	71.03	61.04	59.67	64.65
Bearing 02	42.34	52.91	61.71	60.55
Slide rail 00	81.92	58.04	87.15	80.77
Slide rail 01	67.85	50.30	49.66	32.07
Slide rail 02	86.66	38.78	72.70	32.94
Valve 00	54.24	52.73	75.26	43.60
Valve 01	50.45	53.01	54.78	60.43
Valve 02	51.56	43.84	76.26	78.74

• 오토인코더 베이스라인의 평균 소스 AUC는 67.21%, 타깃 AUC는 53.99%이다.
• MobileNetV2 베이스라인의 평균 소스 AUC는 68.72%, 타깃 AUC는 56.42%이다.
• 평균적으로 타깃 도메인 AUC는 (오토인코더의 경우) 소스 도메인 AUC보다 13.2포인트 낮고, (MobileNetV2의 경우) 12.3포인트 낮다.
• 타깃 도메인 데이터에서 감지 성능의 유의한 저하가 도메인 시프트 시나리오의 성공적인 재생을 보여준다.
• 도메인 시프트 값이 다양하게 설정되어 일반화 벤치마킹의 강건성을 지원한다.
• 베이스라인 결과는 도메인 시프트가 ASD 성능을 크게 저하시킬 수 있음을 보여주며 MIMII DG를 유용한 벤치마크로 확증한다.