[논문 리뷰] Deep Autoencoding GMM-based Unsupervised Anomaly Detection in Acoustic Signals and its Hyper-parameter Optimization

Harsh Purohit, Ryo Tanabe외 4명|arXiv (Cornell University)|2020. 09. 25.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 13

한 줄 요약

이 논문은 깊이 있는 오토에인코더(DA)와 가우시안 믹스처 모델(GMM)을 결합하고 자동화된 하이퍼파rameter 최적화를 통해 음향 신호에 대한 새로운 비지도 이상 탐지 방법인 DAGMM-HO를 제안한다. GMM의 최적 구성 수와 오토에인코더 차원을 결정하기 위해 갭 통계와 누적 고유값을 사용함으로써, 산업용 팬 음성 데이터에서 기존 방법 대비 AUC가 20% 향상되어 최대 96%에 도달한다.

ABSTRACT

Failures or breakdowns in factory machinery can be costly to companies, so there is an increasing demand for automatic machine inspection. Existing approaches to acoustic signal-based unsupervised anomaly detection, such as those using a deep autoencoder (DA) or Gaussian mixture model (GMM), have poor anomaly-detection performance. In this work, we propose a new method based on a deep autoencoding Gaussian mixture model with hyper-parameter optimization (DAGMM-HO). In our method, the DAGMM-HO applies the conventional DAGMM to the audio domain for the first time, with the idea that its total optimization on reduction of dimensions and statistical modelling will improve the anomaly-detection performance. In addition, the DAGMM-HO solves the hyper-parameter sensitivity problem of the conventional DAGMM by performing hyper-parameter optimization based on the gap statistic and the cumulative eigenvalues. Our evaluation of the proposed method with experimental data of the industrial fans showed that it significantly outperforms previous approaches and achieves up to a 20% improvement based on the standard AUC score.

연구 동기 및 목표

• 기존의 비지도 방법이 음향 신호 분석에서 떨어진 이상 탐지 성능을 보이는 문제를 해결하기 위해.
• 기존 DAGMM 모델의 하이퍼파rameter 민감도, 특히 GMM 구성 수와 오토에인코더 잠재 차원에 대한 민감도를 극복하기 위해.
• DAGMM에 대한 최적 하이퍼파rameter 선택을 위한 자동화된 데이터 기반 절차를 개발하기 위해.
• 실제 산업용 팬 음성 데이터를 대상으로 제안된 방법을 평가하고 최신 비지도 이상 탐지 기법들과 성능을 비교하기 위해.

제안 방법

• DAGMM-HO 모델은 차원 축소와 복원 오차 계산을 위한 깊이 있는 오토에인코더(DA)를 통합하고, 이후 압축된 특징과 오차 특징을 조합한 후 GMM를 사용하여 밀도 추정을 수행한다.
• 클러스터 유효성의 '팔꿈치' 지점을 식별함으로써 최적의 GMM 구성 수를 결정하기 위해 갭 통계를 사용하여 과적합을 방지하는 강건한 클러스터링을 확보한다.
• 주성분 분석(PCA)에서의 누적 고유값을 사용하여 오토에인코더의 최적 잠재 차원을 추정함으로써 압축과 정보 유지 간 균형을 이룬다.
• 압축 표현에서 오토에인코더의 복원 손실과 GMM의 음의 로그우도를 동시에 최소화함으로써 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 특징는 1024프레임 크기, 512휴 크기, 64개의 멜 필터 베이스를 사용한 로그멜 스펙트로그램으로 추출되어 DAGMM-HO 모델의 입력이 된다.
• 이상 점수는 에너지 점수(식 10)를 사용하여 계산되며, 이는 GMM 구성에의 소속 확률과 복원 오차를 조합하여 최종 결정을 내리는 데 사용된다.

실험 결과

연구 질문

• RQ1 깊이 있는 오토에인코더와 가우시안 믹스처 모델의 통합이 단독으로 사용되는 방법에 비해 비지도 음향 이상 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 실제 음향 데이터에서 DAGMM의 하이퍼파rameter 민감도, 특히 GMM 구성 수와 오토에인코더 잠재 차원에 대해 효과적으로 완화할 수 있는가?
• RQ3 갭 통계와 누적 고유값 분석을 활용한 하이퍼파rameter 선택이 산업 음성 신호에서 더 강건하고 일반화 가능한 이상 탐지 성능을 이끌어낼 수 있는가?
• RQ4 제안된 DAGMM-HO 방법이 AUC 및 F1 스코어 측면에서 기존의 비지도 기법들인 DA, GMM, OC-SVM 및 이들의 이중단계 조합 기법들보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 DAGMM-HO 방법은 96%의 AUC 스코어를 달성하여 가장 성능이 뛰어난 기존 방법의 79% AUC에 비해 20% 향상된 성능을 보였다.
• 제안된 방법의 F1 스코어는 94%에 도달하여 다음으로 성능이 뛰어난 방법인 DAE+GMM의 F1 스코어 79%를 크게 능가했다.
• 갭 통계와 누적 고유값 분석을 활용한 하이퍼파rameter 최적화 방법은 다양한 산업용 팬 유형에 걸쳐 민감도를 효과적으로 감소시키고 모델의 일반화 능력을 향상시켰다.
• 이중단계 접근법인 깊이 있는 오토에인코더와 GMM의 조합(DAE+GMM)은 단일단계 방법보다 성능이 뛰어났지만, 자동화된 하이퍼파rameter 튜닝을 통한 제안된 DAGMM-HO는 이 조합보다도 뛰어난 성능을 보였다.
• 이 방법은 크기와 설계가 다른 6대의 산업용 팬에서 수집한 실제 음성 데이터에서 강력한 성능을 보였으며, 이질적인 음향 프로파일 간에도 일관된 탐지 능력을 보였다.
• GMM 소속도와 복원 오차에서 유도된 에너지 점수는 신뢰할 수 있는 이상 점수를 제공하여 사전 설정된 임계값을 기반으로 정확한 분류를 가능하게 했다.