[논문 리뷰] Semi-supervised Learning with Deep Generative Models for Asset Failure Prediction

A. S. Yoon, Taehoon Lee외 6명|arXiv (Cornell University)|2017. 09. 04.

Machine Fault Diagnosis Techniques참고 문헌 21인용 수 59

한 줄 요약

이 논문은 건강 레이블이 드물 때 남은 사용 수명(RUL)을 예측하기 위해 RNN 신뢰성 모델을 가진 변분 자동인코더(VAE) 기반의 비선형 임베딩을 사용하는 반지도학습 프레임워크를 소개합니다. 매우 적은 라벨 데이터에서도 감독 학습 및 자기학습 기반선 대비 강력한 성능 향상을 보입니다.

ABSTRACT

This work presents a novel semi-supervised learning approach for data-driven modeling of asset failures when health status is only partially known in historical data. We combine a generative model parameterized by deep neural networks with non-linear embedding technique. It allows us to build prognostic models with the limited amount of health status information for the precise prediction of future asset reliability. The proposed method is evaluated on a publicly available dataset for remaining useful life (RUL) estimation, which shows significant improvement even when a fraction of the data with known health status is as sparse as 1% of the total. Our study suggests that the non-linear embedding based on a deep generative model can efficiently regularize a complex model with deep architectures while achieving high prediction accuracy that is far less sensitive to the availability of health status information.

연구 동기 및 목표

• 유사 역사 데이터에서 라벨이 제한된 상태에서 데이터 기반 예측을 촉진한다.
• 비라벨 데이터를 활용하기 위한 딥 생성모델 기반 임베딩을 개발한다.
• 비선형 임베딩에서 신뢰성 모델을 학습해 남은 사용 수명을 예측한다.
• 다양한 라벨 fraction에서 NASA Turbofan(C-MAPSS) 데이터셋으로 접근법을 평가한다.

제안 방법

• 라벨이 있는 데이터와 라벨이 없는 데이터 모두로부터 비선형 임베딩을 학습하기 위해 변분 자동인코더(VAE)를 사용한다.
• 시퀀스 데이터에 대해 RNN 기반 인코더로 VAE를 매개화하고 가중 KL 및 재구성 항을 포함한 수정된 목적 함수를 사용한다.
• 예측기에서 확률적 포스터리어 샘플링을 피하기 위해 VAE 인코더의 k번째 계층에서 임베딩 z를 추출한다.
• (RNN 기반의 GRU/LSTM) 신뢰성 모델을 (z, y)에서 학습시켜 RUL를 예측한다.
• 다양한 라벨 fraction 하에서 Semi-supervised VAE-SSL을 SL 및 Self-SSL 대비 비교한다.

실험 결과

연구 질문

• RQ1 VAE 기반의 비선형 임베딩이 라벨 데이터가 부족할 때 RUL 예측을 향상시키는가?
• RQ2 다양한 라벨 분율에서 VAE-SSL의 성능이 감독 학습(SL) 및 자기학습(Self-SSL) 기반선과 어떻게 비교되는가?
• RQ3 잠재 임베딩을 VAE 인코더에서 얻는 것이 포스터리어 샘플을 사용하는 것보다 예측 정확도에 어떤 영향을 미치는가?

주요 결과

지표	방법	1%	5%	10%	20%	30%	100%
MAE	SL	46.9 ± 5.3	28.5 ± 3.3	19.7 ± 2.2	15.4 ± 1.7	13.7 ± 1.5	11.3 ± 1.3
MAE	Self-SSL	48.2 ± 5.5	25.8 ± 2.8	19.2 ± 2.1	14.0 ± 1.6	14.2 ± 1.6	11.3 ± 1.3
MAE	VAE-SSL	28.1 ± 3.4	15.8 ± 1.8	13.3 ± 1.5	12.9 ± 1.5	11.9 ± 1.4	11.3 ± 1.3
MSE	SL	3309 ± 441	1299 ± 199	642 ± 80	407 ± 45	344 ± 35	228 ± 27
MSE	Self-SSL	3483 ± 493	1055 ± 120	618 ± 74	362 ± 40	344 ± 38	228 ± 27
MSE	VAE-SSL	1370 ± 240	405 ± 59	294 ± 36	274 ± 31	243 ± 27	221 ± 26
Score	SL	482 ± 121	299 ± 111	53.6 ± 13.9	13.6 ± 2.43	6.42 ± 0.81	3.45 ± 0.41
Score	Self-SSL	610 ± 173	109 ± 22.4	84.9 ± 41.3	10.0 ± 1.46	7.42 ± 0.93	3.45 ± 0.41
Score	VAE-SSL	133 ± 34	8.26 ± 1.38	7.20 ± 1.58	6.09 ± 0.72	5.22 ± 0.59	4.75 ± 0.56
R^2	SL	-0.93 ± 0.28	0.24 ± 0.11	0.63 ± 0.07	0.76 ± 0.09	0.81 ± 0.09	0.87 ± 0.10
R^2	Self-SSL	-1.03 ± 0.33	0.39 ± 0.05	0.64 ± 0.07	0.79 ± 0.09	0.80 ± 0.09	0.87 ± 0.10
R^2	VAE-SSL	0.20 ± 0.14	0.76 ± 0.08	0.83 ± 0.09	0.84 ± 0.10	0.86 ± 0.10	0.87 ± 0.10

• 라벨 분율이 감소할수록 VAE-SSL이 SL 및 Self-SSL에 비해 상당한 향상을 보이며, 낮은 라벨에서 MAE, MSE, Score, R^2가 VAE-SSL에서 개선된다.
• 데이터가 1%에 불과해도 VAE-SSL은 높은 예측 정확도를 유지하고 SL 및 Self-SSL보다 현저한 이점을 보인다.
• 지표 전반에 걸쳐, 라벨링 비율이 낮을 때 VAE-SSL은 Score에서 최대 3.6배의 개선 및 MAE/MSE에서 상당한 이득을 보인다.
• NASA Turbofan(C-MAPSS) FD001 데이터셋에서의 결과는 라벨 부족에 대한 임베딩 기반 접근법의 강건성을 보여준다.