[论文解读] IoT Data Analytics Using Deep Learning

Xiaofeng Xie, Di Wu+2 more|arXiv (Cornell University)|Aug 13, 2017

Time Series Analysis and Forecasting参考文献 14被引用 26

一句话总结

本文提出LSTM-Gauss-NBayes，一种混合深度学习模型，结合长短期记忆（LSTM）网络进行时间序列预测，以及高斯朴素贝叶斯分类器，用于检测物联网传感器数据中的异常。该方法在具有不同时间依赖模式的多样化真实世界数据集中表现出稳健性能，无需大量预处理即可有效识别异常事件。

ABSTRACT

Deep learning is a popular machine learning approach which has achieved a lot of progress in all traditional machine learning areas. Internet of thing (IoT) and Smart City deployments are generating large amounts of time-series sensor data in need of analysis. Applying deep learning to these domains has been an important topic of research. The Long-Short Term Memory (LSTM) network has been proven to be well suited for dealing with and predicting important events with long intervals and delays in the time series. LTSM networks have the ability to maintain long-term memory. In an LTSM network, a stacked LSTM hidden layer also makes it possible to learn a high level temporal feature without the need of any fine tuning and preprocessing which would be required by other techniques. In this paper, we construct a long-short term memory (LSTM) recurrent neural network structure, use the normal time series training set to build the prediction model. And then we use the predicted error from the prediction model to construct a Gaussian naive Bayes model to detect whether the original sample is abnormal. This method is called LSTM-Gauss-NBayes for short. We use three real-world data sets, each of which involve long-term time-dependence or short-term time-dependence, even very weak time dependence. The experimental results show that LSTM-Gauss-NBayes is an effective and robust model.

研究动机与目标

• 解决在智慧城市和工业应用中分析大规模、时间依赖型物联网传感器数据的挑战。
• 开发一种能够处理物联网时间序列数据中强弱时间依赖关系的鲁棒异常检测方法。
• 通过端到端深度学习减少对手动特征工程和预处理的依赖。
• 在具有不同时间依赖程度的多样化真实世界物联网数据集上评估模型性能。
• 展示LSTM-Gauss-NBayes框架在实际物联网分析场景中的有效性与泛化能力。

提出的方法

• 构建一个堆叠的长短期记忆（LSTM）循环神经网络，以建模和预测时间序列传感器数据。
• 在正常时间序列数据上训练LSTM模型，生成预测输出。
• 将实际值与预测值之间的预测误差计算为异常检测的输入特征。
• 在预测误差分布上训练高斯朴素贝叶斯分类器，以将样本分类为正常或异常。
• 将LSTM与高斯朴素贝叶斯模型整合为统一框架，称为LSTM-Gauss-NBayes，实现端到端异常检测。
• 不使用额外的预处理或微调，完全依赖LSTM自主学习高层时间特征的能力。

实验结果

研究问题

• RQ1 基于LSTM的模型能否有效捕捉多样化物联网传感器数据中的长期与短期时间依赖关系？
• RQ2 LSTM-Gauss-NBayes模型在无需手动特征工程或大量数据预处理的情况下，异常检测效果如何？
• RQ3 该混合模型在具有不同时间依赖程度（包括弱时间模式）的数据集上是否保持稳健性能？
• RQ4 与传统方法相比，LSTM-Gauss-NBayes模型在异常检测准确率和泛化能力方面表现如何？
• RQ5 LSTM模型的预测误差能否作为概率异常检测分类器的可靠输入？

主要发现

• LSTM-Gauss-NBayes模型在所有三个真实世界物联网数据集上均实现了高检测准确率，表现出强大的鲁棒性。
• 该模型有效处理了具有长期依赖、短期依赖，甚至时间依赖极弱的数据集。
• 该方法消除了对手动特征工程或数据预处理的依赖，转而依赖LSTM的内部表征学习能力。
• 高斯朴素贝叶斯分类器有效利用预测误差，以高精度区分异常与正常样本。
• 实验结果证实，该混合模型在多样化物联网数据场景中均具有有效性和泛化能力。
• 该方法在异常检测性能上优于基线方法，尤其在复杂时间模式下表现更优。