[論文レビュー] IoT Data Analytics Using Deep Learning

Xiaofeng Xie, Di Wu+2 more|arXiv (Cornell University)|Aug 13, 2017

Time Series Analysis and Forecasting参考文献 14被引用数 26

ひとこと要約

本論文では、時系列予測に長短期記憶（LSTM）ネットワークを用い、IoTセンサー・データにおける異常を検出するためのガウス型ナイーブベイズ分類器を組み合わせたハイブリッド深層学習モデル、LSTM-Gauss-NBayesを提案する。この手法は、時間依存性のパターンが異なる多様な実世界のデータセットにおいても、広範な前処理を要せず、高い性能を発揮する。

ABSTRACT

Deep learning is a popular machine learning approach which has achieved a lot of progress in all traditional machine learning areas. Internet of thing (IoT) and Smart City deployments are generating large amounts of time-series sensor data in need of analysis. Applying deep learning to these domains has been an important topic of research. The Long-Short Term Memory (LSTM) network has been proven to be well suited for dealing with and predicting important events with long intervals and delays in the time series. LTSM networks have the ability to maintain long-term memory. In an LTSM network, a stacked LSTM hidden layer also makes it possible to learn a high level temporal feature without the need of any fine tuning and preprocessing which would be required by other techniques. In this paper, we construct a long-short term memory (LSTM) recurrent neural network structure, use the normal time series training set to build the prediction model. And then we use the predicted error from the prediction model to construct a Gaussian naive Bayes model to detect whether the original sample is abnormal. This method is called LSTM-Gauss-NBayes for short. We use three real-world data sets, each of which involve long-term time-dependence or short-term time-dependence, even very weak time dependence. The experimental results show that LSTM-Gauss-NBayes is an effective and robust model.

研究の動機と目的

• スマートシティや産業応用における大規模かつ時間依存性のあるIoTセンサー・データの分析課題に対処すること。
• IoT時系列データにおける強い時間依存性と弱い時間依存性の両方を扱える、頑健な異常検出手法の開発。
• エンド・ツー・エンドの深層学習に依存することで、手動による特徴工学や前処理に依存するのを減らすこと。
• 時間依存性の程度が異なる多様な実世界のIoTデータセットにおいて、モデルの性能を評価すること。
• 実用的なIoT分析シナリオにおけるLSTM-Gauss-NBayesフレームワークの有効性と汎用性を示すこと。

提案手法

• 時系列センサー・データのモデリングと予測に、スタックド・長短期記憶（LSTM）再帰的ニューラルネットワークを構築する。
• 正常な時系列データ上でLSTMモデルを学習させ、予測出力を得る。
• 実測値と予測値の間の予測誤差を、異常検出の入力特徴量として計算する。
• 予測誤差の分布に基づいてガウス型ナイーブベイズ分類器を学習させ、サンプルを正常または異常と分類する。
• LSTMとガウス型ナイーブベイズモデルを統合した統一フレームワーク「LSTM-Gauss-NBayes」を構築し、エンド・ツー・エンドの異常検出を実現する。
• 追加の前処理やファインチューニングを一切行わず、LSTMが高次元の時間的特徴を自律的に学習できることに依存する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのモデルは、多様なIoTセンサー・データにおける長期的および短期的な時間依存性を効果的に捉えることができるか？
• RQ2 手動による特徴工学や広範なデータ前処理を要せず、LSTM-Gauss-NBayesモデルは異常をどれほど効果的に検出できるか？
• RQ3 時間依存性の程度が異なるデータセット、特に弱い時間パターンを示すデータセットにおいても、ハイブリッドモデルは頑健な性能を維持できるか？
• RQ4 従来の手法と比較して、LSTM-Gauss-NBayesモデルの異常検出の正確性と汎用性はどの程度高いか？
• RQ5 LSTMモデルの予測誤差は、確率的異常検出分類器の信頼できる入力として機能するか？

主な発見

• LSTM-Gauss-NBayesモデルは、3つの実世界のIoTデータセットすべてで高い検出精度を達成し、強力な頑健性を示した。
• モデルは、長期的依存性、短期的依存性、さらには非常に弱い時間依存性を示すデータセットに対しても効果的に対応した。
• 手動による特徴工学やデータ前処理の必要性が排除され、LSTMの内部表現学習に依存した。
• ガウス型ナイーブベイズ分類器は、予測誤差を効果的に活用して、正常と異常のサンプルを高精度に区別した。
• 実験結果から、ハイブリッドモデルが多様なIoTデータ環境において、有効かつ汎用的であることが確認された。
• 特に複雑な時間的パターンを示す状況において、ベースライン手法に比べて異常検出性能が優れていた。