[논문 리뷰] A Data-driven Prognostic Architecture for Online Monitoring of Hard Disks Using Deep LSTM Networks.

Sanchita Basak, Saptarshi Sengupta외 1명|arXiv (Cornell University)|2018. 10. 21.

Traffic Prediction and Management Techniques참고 문헌 23인용 수 1

한 줄 요약

이 논문은 클라우드 백엔드 서버의 하드디스크의 잔여 수명(RUL)을 예측하기 위해 딥 루프-짧은-기억(이하 LSTM) 네트워크를 사용하는 양층 구조의 데이터 기반 예측 아키텍처를 제안한다. 이 모델은 온라인 데이터 스트림, 효과적인 특징 추출 및 견고한 사전 처리를 활용하여 특히 중요한 10일 간의 고장 윈도우에서 높은 정밀도를 달성하며, 평균 정밀도는 0.8435이다.

ABSTRACT

With the advent of pervasive cloud computing technologies, service reliability and availability are becoming major concerns,especially as we start to integrate cyber-physical systems with the cloud networks. A number of smart and connected community systems such as emergency response systems utilize cloud networks to analyze real-time data streams and provide context-sensitive decision support.Improving overall system reliability requires us to study all the aspects of the end-to-end of this distributed system,including the backend data servers. In this paper, we describe a bi-layered prognostic architecture for predicting the Remaining Useful Life (RUL) of components of backend servers,especially those that are subjected to degradation. We show that our architecture is especially good at predicting the remaining useful life of hard disks. A Deep LSTM Network is used as the backbone of this fast, data-driven decision framework and dynamically captures the pattern of the incoming data. In the article, we discuss the architecture of the neural network and describe the mechanisms to choose the various hyper-parameters. We describe the challenges faced in extracting effective training sets from highly unorganized and class-imbalanced big data and establish methods for online predictions with extensive data pre-processing, feature extraction and validation through test sets with unknown remaining useful lives of the hard disks. Our algorithm performs especially well in predicting RUL near the critical zone of a device approaching failure.The proposed architecture is able to predict whether a disk is going to fail in next ten days with an average precision of 0.8435.In future, we will extend this architecture to learn and predict the RUL of the edge devices in the end-to-end distributed systems of smart communities, taking into consideration context-sensitive external features such as weather.

연구 동기 및 목표

• 클라우드 기반 사이버-물리 시스템의 시스템 신뢰성을 향상시키기 위해 하드디스크 고장을 조기에 예측할 수 있도록 한다.
• 신뢰할 수 있는 RUL 예측 모델을 훈련시키기 위해 비정형적이고 클래스 불균형적인 빅데이터 문제를 해결한다.
• 분산된 클라우드 환경에서 실시간 의사결정 지원이 가능한 동적이고 온라인 예측 프레임워크를 개발한다.
• 스마트 커뮤니티의 엣지 디바이스로 이 아키텍처를 확장하여 기상과 같은 맥락 민감형 외부 요소를 통합한다.

제안 방법

• 시간적 패턴 학습을 위해 스트리밍 디스크 텔레메트리에서 데이터를 처리하는 데 중심이 되는 딥 LSTM 네트워크를 포함한 양층 신경망 아키텍처를 설계한다.
• 비정형적이고 불균형한 데이터셋을 처리하기 위해 광범위한 데이터 사전 처리를 적용하여 훈련 세트의 품질을 향상시킨다.
• 원시 디스크 건강 지표를 LSTM 모델에 적합한 의미 있는 표현으로 변환하기 위해 특징 추출 기법을 사용한다.
• 모델 성능 및 일반화 능력을 최적화하기 위해 하이퍼파rameter 튜닝을 체계적으로 수행한다.
• 알 수 없는 RUL를 가진 테스트 세트를 사용하여 검증함으로써, 들어오는 데이터 스트림에 대한 지속적인 추론을 통해 온라인 예측을 가능하게 한다.
• 정확한 고장 임계점 근처의 예측을 중시하여 실제 하드디스크 고장 데이터를 사용해 모델을 훈련하고 검증한다.

실험 결과

연구 질문

• RQ1 딥 LSTM 기반 아키텍처는 실시간 클라우드 스토리지 시스템에서 하드디스크의 잔여 수명(RUL)을 효과적으로 예측할 수 있는가?
• RQ2 디스크 모니터링에서 유래한 비정형적이고 클래스 불균형적인 빅데이터는 어떻게 효과적인 훈련 세트로 변환될 수 있는가?
• RQ3 제안된 모델은 임계 10일 고장 윈도우 내에서 RUL 예측 성능이 어떠한가?
• RQ4 이 아키텍처는 분산된 사이버-물리 시스템에서 온라인이고 동적인 예측을 어떻게 지원하는가?
• RQ5 이 프레임워크는 엣지 디바이스 진단을 위해 기상과 같은 외부 맥락적 요소를 통합할 수 있는가?

주요 결과

• 제안된 딥 LSTM 기반 아키텍처는 향후 10일 이내 하드디스크 고장을 예측할 때 평균 정밀도 0.8435를 달성한다.
• 모델은 조기 감지가 가장 중요한 시스템 신뢰성 측면에서 높은 성능을 보이며, 특히 중요한 고장 영역에서 강력한 성능을 발휘한다.
• 효과적인 데이터 사전 처리 및 특징 추출은 비정형적이고 불균형한 실세계 데이터셋에서 모델의 강인성을 크게 향상시킨다.
• 이 아키텍처는 실시간 온라인 예측을 지원하여 생산 환경의 클라우드 환경에 배포하기에 적합하다.
• 이 프레임워크는 확장 가능하며, 향후 기상과 같은 외부 맥락적 특징을 엣지 디바이스 모니터링에 통합할 잠재력이 있다.