[논문 리뷰] Description and Discussion on DCASE2020 Challenge Task2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring

Yuma Koizumi, Yohei Kawaguchi외 9명|arXiv (Cornell University)|2020. 06. 10.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 104

한 줄 요약

이 논문은 기계 상태 모니터링에서 비감독 이상음 탐지(ASD) 를 위한 DCASE 2020 Task 2 벤치마크를 설명하고, 40개 팀의 117개 제출을 분석하며, 두 가지 새로운 ASD 접근 방식과 그 과제를 논의합니다.

ABSTRACT

In this paper, we present the task description and discuss the results of the DCASE 2020 Challenge Task 2: Unsupervised Detection of Anomalous Sounds for Machine Condition Monitoring. The goal of anomalous sound detection (ASD) is to identify whether the sound emitted from a target machine is normal or anomalous. The main challenge of this task is to detect unknown anomalous sounds under the condition that only normal sound samples have been provided as training data. We have designed this challenge as the first benchmark of ASD research, which includes a large-scale dataset, evaluation metrics, and a simple baseline system. We received 117 submissions from 40 teams, and several novel approaches have been developed as a result of this challenge. On the basis of the analysis of the evaluation results, we discuss two new approaches and their problems.

연구 동기 및 목표

• 훈련에 정상 소리만 사용할 수 있는 산업용 기계 모니터링에서 비감독 ASD를 촉진한다.
• 공정한 방법 간 비교를 가능하게 하는 통합 데이터셋과 평가 지표를 제시한다.
• 기준 시스템을 제공하고 제출물을 분석하여 현 접근법의 강점과 한계를 식별한다.
• 두 가지 새로운 ASD 전략을 논의하고 향후 연구 방향을 제시한다.

제안 방법

• ASD를 정상 학습 데이터만으로 10초 길이의 단일 채널 기계 소리에서 이상을 검출하는 것으로 정의한다.
• 로그멜(log-mel) 특징과 재구성 오차를 이상 점수로 사용하는 오토인코더(AE)를 이용한 간단한 기준선을 제공한다.
• 기계 유형 및 ID 전반에 걸친 성능 평가를 위해 AUC와 pAUC를 평가 지표로 사용한다.
• 교차-ID 데이터 공유 및 조건화 스킴에 대한 효과적인 전략을 식별하기 위해 제출물을 분석한다.

실험 결과

연구 질문

• RQ1 훈련에 정상 소리만 사용 가능한 상황에서 알려지지 않은 이상 소리를 어떻게 탐지할 수 있는가?
• RQ2 교차-ID 샘플 공유 또는 기계-ID 조건화가 비감독 ASD 성능을 향상시키는가?
• RQ3 ASD 벤치마크에서 현재 비감독 ASD 접근법의 실용적 한계와 과제는 무엇인가?
• RQ4 다양한 기계 유형에 걸친 견고한 ASD 순위를 위한 효과적인 평가 지표(AUC 및 pAUC)는 무엇인가?
• RQ5 2020 도전 과제 결과에서 도출되는 향후 ASD 연구 방향은 무엇인가?

주요 결과

Machine Type	Machine ID	Dataset	AUC	pAUC
Toy-car	A	dev.	81.36	68.40
Toy-car	A	dev.	85.97	77.72
Toy-car	A	dev.	63.30	55.21
Toy-car	A	dev.	84.45	68.97
Toy-car	A	eval.	74.26	63.16
Toy-car	A	eval.	83.38	69.92
Toy-car	A	eval.	82.79	65.43
Toy-conveyor	A	dev.	78.07	64.25
Toy-conveyor	A	dev.	64.16	56.01
Toy-conveyor	A	dev.	75.35	61.03

• DCASE 2020 Task 2 벤치마크는 40개 팀으로부터 117개의 제출을 유치했으며 대부분의 참가자에서 기준선보다 성능이 향상되었음을 보여주었다.
• 두 가지 유망한 접근 방식이 등장했다: (1) 다른 기계 ID를 이상으로 간주하여 의사결정 경계를 형성하는 분류 기반 ASD, (2) 기계 ID를 조건 입력으로 사용하여 재구성 정확도를 향상시키는 ID-조건화 AE.
• 다른 ID가 유사한 소리를 낼 때 분류 기반 방법은 어려움을 겪을 수 있으며, 특정 유형에서(예: Toy-conveyor) 거짓 양성 증가를 초래할 수 있다.
• AE의 ID-조건화는 ID별로 정상 소리를 구분하는 데 도움이 될 수 있지만, ID가 음향적으로 비슷한 경우 재구성에 도전이 있을 수 있으며 균형 잡힌 학습 전략의 필요성을 시사한다.
• AE와 분류 전략을 결합한 앙상블은 일부 최상위 제출에서 견고한 성능을 보여주었다.