[논문 리뷰] Flow-based Self-supervised Density Estimation for Anomalous Sound Detection

Kota Dohi, Takashi Endo외 3명|arXiv (Cornell University)|2021. 03. 16.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 5

한 줄 요약

이 논문은 정규화 흐름 모델을 개선하여 목표 기계의 소리를 더 높은 가능도로, 같은 유형의 다른 기계의 소리를 더 낮은 가능도로 할당하도록 훈련시킴으로써 이상 소리 탐지에 유사한 자기지도 학습 밀도 추정 방법을 제안한다. DCASE 2020 챌린지 Task2 데이터셋에서 Glow를 사용할 경우 평균 5.8% 향상되고 MAF를 사용할 경우 평균 4.6% 향상되며, 더 안정적인 성능을 보이며 비지도 및 자기지도 분류 기반 베이스라인을 모두 능가한다.

ABSTRACT

To develop a machine sound monitoring system, a method for detecting anomalous sound is proposed. Exact likelihood estimation using Normalizing Flows is a promising technique for unsupervised anomaly detection, but it can fail at out-of-distribution detection since the likelihood is affected by the smoothness of the data. To improve the detection performance, we train the model to assign higher likelihood to target machine sounds and lower likelihood to sounds from other machines of the same machine type. We demonstrate that this enables the model to incorporate a self-supervised classification-based approach. Experiments conducted using the DCASE 2020 Challenge Task2 dataset showed that the proposed method improves the AUC by 4.6% on average when using Masked Autoregressive Flow (MAF) and by 5.8% when using Glow, which is a significant improvement over the previous method.

연구 동기 및 목표

• 기계 소리 모니터링에서 자기지도 학습 기반 이상 탐지의 불안정성과 성능 저하 문제를 해결하기 위해.
• 내부 분포 및 외부 분포 데이터를 활용한 자기지도 대비 학습을 통합하여 정규화 흐름 기반 이상 탐지의 강건성을 향상시키기 위해.
• 비지도 및 기존 자기지도 방법보다 더 높고 안정적인 이상 탐지 성능을 달성하기 위해.
• 동일 유형의 여러 기계에서의 정상 소리 데이터만을 사용하여 효과적인 외부 분포 탐지가 가능하도록 하기 위해.

제안 방법

• 이 방법은 정규화 흐름(Glow 및 MAF)을 사용하여 소리 데이터의 가능도를 모델링하며, 목표 기계 데이터의 가능도를 최대화하고 같은 유형의 다른 기계에서 온 이방성 데이터의 가능도를 최소화하는 새로운 손실 함수를 사용한다.
• 손실 함수는 음의 로그 가능도의 가중합으로 정의된다: L = (1/N_D) Σ NLL(x) - (1/N_OOD) Σ NLL(x) · I[NLL(x) < c], 여기서 c는 각 기계 유형별 임계값 하이퍼파rameter이다.
• 모델은 목표 기계와 이방성 기계 ID 간의 구분을 보조 작업으로 간주하여 자기지도 방식으로 훈련되며, 레이블이 부여된 이상 데이터가 필요 없이 일반화 성능을 향상시킨다.
• 하이퍼파rameter c는 검증 데이터를 사용하여 각 기계 유형별로 튜닝되며, MAF의 경우 -800에서 -750 사이, Glow의 경우 5.53에서 5.75 사이의 값이 사용된다.
• 이 방법은 정규화 흐름의 정확한 가능도 추정 기능을 활용하면서도 기계 간의 구조적 차이에 더 민감하게 반응하도록 한다.
• 이 방법은 DCASE 2020 챌린지 Task2 데이터셋의 여섯 가지 기계 유형에서 평가되었으며, VAE, VIDNN 및 자기지도 학습 기반 MobileNetV2 베이스라인과 비교되었다.

실험 결과

연구 질문

• RQ1 자기지도 대비 학습 목표가 정규화 흐름의 이상 탐지 성능을 음성 기반 기계 모니터링에서 향상시킬 수 있는가?
• RQ2 목표 기계 소리에 대해 더 높은 가능도를 할당하고 같은 유형의 다른 기계 소리에 대해 더 낮은 가능도를 할당하는 것이 순수 자기지도 학습 분류보다 더 안정적이고 정확한 탐지 성능을 제공하는가?
• RQ3 이전 자기지도 방법이 실패한 기계 유형들에 대해서도 이 방법의 성능은 어떻게 되는가?
• RQ4 성능 향상 정도가 목표 데이터와 이방성 데이터 간의 구조적 유사성에 의존하는가?

주요 결과

• 제안된 방법은 DCASE 2020 Task2 데이터셋에서 Glow를 사용할 경우 비지도 기반 베이스라인 대비 평균 5.8% 향상되었고, MAF를 사용할 경우 평균 4.6% 향상되었다.
• 제안된 손실 함수를 사용할 경우 Glow로 총 AUC 85.2%, MAF로 총 AUC 84.7%를 달성하여 자기지도 학습 기반 MobileNetV2 베이스라인(AUC 평균 66.1%)을 크게 능가했다.
• 최소 AUC 기록을 보인 기계 ID의 경우, 제안된 방법은 87.8%의 AUC를 기록했고, MobileNetV2는 55.7%, 비지도 Glow 기반 베이스라인은 64.2%를 기록했다.
• 이방성 데이터가 다른 기계 유형에서 온 경우(예: 펌프 ID 0에 밸브 또는 팬의 데이터를 사용할 경우), 성능 향상이 없었으며, 이는 구조적 유사성이 필수적임을 시사한다.
• 모든 기계 유형에서 높은 성능를 유지했으며, 같은 유형의 이방성 데이터를 사용할 경우 펌프 ID 0의 최소 AUC는 70.0%였고, 자기지도 기반 베이스라인 대비 52.9%에 그쳤다.
• 제안된 손실 함수를 사용한 모델은 Glow를 사용할 경우 총 AUC 85.0%를 달성했으며, 이는 비지도 Glow 기반 베이스라인(79.4%)과 자기지도 학습 기반 MobileNetV2(66.1%)를 모두 평균적으로 능가했다.