[論文レビュー] A Data-driven Prognostic Architecture for Online Monitoring of Hard Disks Using Deep LSTM Networks.

Sanchita Basak, Saptarshi Sengupta+1 more|arXiv (Cornell University)|Oct 21, 2018

Traffic Prediction and Management Techniques参考文献 23被引用数 1

ひとこと要約

本論文は、クラウドバックエンドサーバー内のハードディスクの残存耐用期間（RUL）を予測するために、ディープ・ロングショートターム記憶（LSTM）ネットワークを用いた二層構造のデータ駆動型予後アーキテクチャを提案する。モデルはオンラインデータストリーム、効果的な特徴抽出、および頑健な前処理を活用し、特に10日間の故障ウィンドウという重要な期間において高い精度を達成する。平均精度は0.8435である。

ABSTRACT

With the advent of pervasive cloud computing technologies, service reliability and availability are becoming major concerns,especially as we start to integrate cyber-physical systems with the cloud networks. A number of smart and connected community systems such as emergency response systems utilize cloud networks to analyze real-time data streams and provide context-sensitive decision support.Improving overall system reliability requires us to study all the aspects of the end-to-end of this distributed system,including the backend data servers. In this paper, we describe a bi-layered prognostic architecture for predicting the Remaining Useful Life (RUL) of components of backend servers,especially those that are subjected to degradation. We show that our architecture is especially good at predicting the remaining useful life of hard disks. A Deep LSTM Network is used as the backbone of this fast, data-driven decision framework and dynamically captures the pattern of the incoming data. In the article, we discuss the architecture of the neural network and describe the mechanisms to choose the various hyper-parameters. We describe the challenges faced in extracting effective training sets from highly unorganized and class-imbalanced big data and establish methods for online predictions with extensive data pre-processing, feature extraction and validation through test sets with unknown remaining useful lives of the hard disks. Our algorithm performs especially well in predicting RUL near the critical zone of a device approaching failure.The proposed architecture is able to predict whether a disk is going to fail in next ten days with an average precision of 0.8435.In future, we will extend this architecture to learn and predict the RUL of the edge devices in the end-to-end distributed systems of smart communities, taking into consideration context-sensitive external features such as weather.

研究の動機と目的

• クラウドベースのサイバーフィジカルシステムにおけるシステム信頼性を向上させることを目的とし、ハードディスクの故障を早期に予測することを可能にする。
• 訓練可能なRUL予測モデルを構築するにあたり、非構造的かつクラスに偏ったビッグデータの課題に対処すること。
• 分散型クラウド環境におけるリアルタイム意思決定支援を可能にする動的かつオンラインの予後フレームワークを構築すること。
• スマートコミュニティにおけるエッジデバイスにこのアプローチを拡張し、天候などの文脈に敏感な外部要因を組み込むこと。

提案手法

• 時間的パターンの学習を目的とした、ストリーミングディスクテレメトリから学習するためのコアとしてディープLSTMネットワークを備えた二層構造のニューラルネットワークアーキテクチャを設計する。
• 不規則で偏ったデータセットに対処するため、広範なデータ前処理が施され、トレーニングセットの品質が向上する。
• 生のディスク健全性メトリクスをLSTMモデルに適した意味のある表現に変換するための特徴抽出技術が用いられる。
• モデルのパフォーマンスと一般化能力を最適化するために、ハイパーパramータチューニングを体系的に行う。
• 未知のRULを有するテストセットを用いた検証により、継続的なインフェレンスを介したオンライン予測が可能となる。
• 本モデルは、故障閾値付近での正確な予測に注力した、実世界のディスク故障データを用いてトレーニングおよび検証される。

実験結果

リサーチクエスチョン

• RQ1 ディープLSTMベースのアーキテクチャは、リアルタイムのクラウドストレージシステムにおいて、ハードディスクの残存耐用期間（RUL）を効果的に予測できるか？
• RQ2 ディスク監視から得られる非構造的かつクラスに偏ったビッグデータは、RUL予測のための効果的なトレーニングセットにどのように変換できるか？
• RQ3 提案されたモデルは、重要な10日間の故障ウィンドウ内でのRUL予測において、どの程度のパフォーマンスを示すか？
• RQ4 このアーキテクチャは、分散型サイバーフィジカルシステムにおけるオンラインで動的予測をどのようにサポートするか？
• RQ5 このフレームワークは、天候などの外部文脈的要因を含めるために、エッジデバイスの診断に拡張可能か？

主な発見

• 提案されたディープLSTMベースのアーキテクチャは、将来10日以内のハードディスク故障予測において、平均精度0.8435を達成した。
• モデルは、早期検出がシステム信頼性にとって最も価値のある重要な故障領域でも強力なパフォーマンスを示した。
• 効果的なデータ前処理と特徴抽出は、非構造的かつ偏った実世界のデータセットにおいてモデルの頑健性を顕著に向上させた。
• アーキテクチャはリアルタイムでのオンライン予測をサポートしており、生産環境におけるクラウド環境への展開に適している。
• フレームワークは拡張可能であり、将来的に天候などの外部文脈的特徴をエッジデバイス監視に統合する可能性を示している。