[논문 리뷰] Semi-Supervised Learning of Bearing Anomaly Detection via Deep Variational Autoencoders

Shen Zhang, Fei Ye외 2명|arXiv (Cornell University)|2019. 12. 02.

Machine Fault Diagnosis Techniques참고 문헌 27인용 수 30

한 줄 요약

이 논문은 제한된 레이블 데이터와 풍부한 레이블 미할당 진동 신호를 활용하기 위해 딥 변동형 오토인코더( variational autoencoders, VAEs)를 사용하는 준감독 학습 기반 베어링 이상 탐지 방법을 제안한다. VAE와 분류기의 공동 학습을 통해 모델은 강건한 표현을 학습하고, CWRU 및 IMS 데이터셋에서 레이블이 4–15%에 불과할 경우에도 감독 학습 및 기준 준감독 학습 방법보다 최대 30%의 정확도 향상을 달성한다.

ABSTRACT

Most of the data-driven approaches applied to bearing fault diagnosis up to date are established in the supervised learning paradigm, which usually requires a large set of labeled data collected a priori. In practical applications, however, obtaining accurate labels based on real-time bearing conditions can be far more challenging than simply collecting a huge amount of unlabeled data using various sensors. In this paper, we thus propose a semi-supervised learning approach for bearing anomaly detection using variational autoencoder (VAE) based deep generative models, which allows for effective utilization of dataset when only a small subset of data have labels. Finally, a series of experiments is performed using both the Case Western Reserve University (CWRU) bearing dataset and the University of Cincinnati's Center for Intelligent Maintenance Systems (IMS) dataset. The experimental results demonstrate that the proposed semi-supervised learning scheme greatly outperforms two mainstream semi-supervised learning approaches and a baseline supervised convolutional neural network approach, with the overall accuracy improvement ranging between 3% to 30% using different proportions of labeled samples.

연구 동기 및 목표

• 실제 산업 현장에서 레이블이 부족한 베어링 고장 데이터 문제를 다루며, 정밀한 고장 레이블을 확보하는 것에 비해 대량의 레이블 없는 데이터 수집은 보다 용이하다는 점을 고려한다.
• 신뢰할 수 있는 고장 분류를 위해 광범위한 레이블 데이터가 필요한 감독 학습의 한계를 극복한다.
• 소량의 레이블 데이터와 대량의 레이블 없는 데이터를 효과적으로 활용하여 이상 탐지 성능을 향상시키는 준감독 학습 기반의 딥 생성 모델을 개발한다.
• 자연스럽게 진행되는 고장을 포함한 실제 베어링 데이터셋(CWRU 및 IMS)에서 모델을 검증하며, 초기 고장 단계에서 레이블의 모호성이 흔한 상황을 고려한다.
• 레이블 없는 데이터를 VAE 기반 준감독 프레임워크를 통해 통합함으로써 분류기의 일반화 능력과 노이즈 또는 잘못된 레이블에 대한 강건성을 향상시킬 수 있음을 입증한다.

제안 방법

• 원시 베어링 진동 신호로부터 계층적인 잠재 표현을 학습하기 위한 공동 인코더-디코더 아키텍처를 갖춘 딥 변동형 오토인코더( VAE) 프레임워크를 제안한다.
• 레이블 있는 데이터는 분류를, 레이블 없는 데이터는 표현 학습을 유도하기 위해 VAE 아키텍처에 분류기 헤드를 통합하여 엔드 투 엔드 준감독 학습을 가능하게 한다.
• 스티커스틱한 잠재 변수를 통해 역전파를 가능하게 하기 위해 VAE에서 재생산 기법( reparameterization trick)을 사용하여 변동형 하한 경계( ELBO) 목적함수를 최적화한다.
• 재구성 손실( 오토인코딩을 위한)과 분류 손실( 레이블 있는 데이터를 위한)을 조합하여 표현과 예측을 공동 최적화할 수 있도록 모델을 훈련한다.
• 다양한 레이블 부족 조건에서 성능을 평가하기 위해 두 가지 변형을 적용한다: VAE M1( 표준 VAE)과 VAE M2( 추가 정규화 및 향상된 잠재 공간 모델링 포함),
• CWRU 및 IMS 베어링 데이터셋의 데이터를 활용하여, VAE 모델에 입력하기 전에 신호 전처리 및 특징 추출을 수행한다.

실험 결과

연구 질문

• RQ1 레이블이 소수에 불과할 경우, 딥 VAE 기반 준감독 학습 모델이 감독 학습 및 비감독 학습 기반 기준 모델보다 이상 탐지 성능에서 뛰어난 성능을 보일 수 있는가?
• RQ2 레이블의 모호성 또는 노이즈가 있는 경우, 레이블 없는 데이터의 포함 여부가 분류기의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 기존의 최신 준감독 학습 기법들(예: 그래프 기반 모델, 딥 래더 네트워크 등)보다 제안된 VAE 기반 준감독 접근법이 베어링 고장 탐지 과제에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 레이블가 정확하지 않은 경우, 특히 미세한 특징을 보이는 초기 고장 단계에서 모델의 성능이 얼마나 떨어지는가?
• RQ5 실제 데이터셋에서 다양한 레이블 비율 조건에서 VAE M2의 성능이 VAE M1 및 기타 모델(CNN, 오토인코더 등)과 비교해 어떻게 나타나는가?

주요 결과

• CWRU 데이터셋에서 제안된 VAE M2 모델은 레이블이 4%에 불과할 경우 기준 감독 학습 CNN보다 정확도를 30% 향상시켰다.
• 전체 데이터의 0.4%에 해당하는 뿐이지만 레이블이 10개 뿐인 경우에도 VAE M2는 23.71%의 정확도를 기록하여 PCA+SVM(17.10%)과 오토인코더(27.72%)보다 6% 이상 높은 성능을 보였다.
• IMS 데이터셋에서 VAE M2는 2,000개의 레이블 데이터(전체의 25%)를 사용할 경우 90.87%의 정확도를 달성했으며, 동일 조건에서 CNN(86.62%) 및 PCA+SVM(78.50%)를 크게 앞서는 성능을 보였다.
• 레이블 비율에 관계없이 일관된 성능 향상을 보였으며, 기준 모델 대비 3%에서 30%까지 정확도 향상을 기록했고, 예측의 분산도 감소했다.
• 레이블 데이터가 4,000개에서 8,000개로 증가함에 따라 CNN의 정확도는 6% 이상 감소한 반면, VAE M2는 오직 4% 감소에 그쳐, 레이블 노이즈나 잘못된 분류에 더 강건함을 보였다.
• 결과적으로 준감독 VAE는 특히 초기 고장 단계에서 레이블이 모호한 경우 발생하는 정확도 저하를 효과적으로 완화할 수 있음을 시사한다.