[论文解读] LSTM-based Anomaly Detection for Non-linear Dynamical System

Yue Tan, Chunjing Hu+4 more|arXiv (Cornell University)|Jun 5, 2020

Anomaly Detection Techniques and Applications参考文献 30被引用 4

一句话总结

本文提出了一种基于LSTM的异常检测框架，用于非线性动力系统，通过多步预测和一种新颖的自适应参数局部平均（LAAP）算法，检测壁面剪切应力时间序列中的异常。与ARIMA和基于绝对值的方法相比，该方法在预测精度和异常检测性能方面表现更优，尤其在系统不稳定性的早期预警方面表现突出。

ABSTRACT

Anomaly detection for non-linear dynamical system plays an important role in ensuring the system stability. However, it is usually complex and has to be solved by large-scale simulation which requires extensive computing resources. In this paper, we propose a novel anomaly detection scheme in non-linear dynamical system based on Long Short-Term Memory (LSTM) to capture complex temporal changes of the time sequence and make multi-step predictions. Specifically, we first present the framework of LSTM-based anomaly detection in non-linear dynamical system, including data preprocessing, multi-step prediction and anomaly detection. According to the prediction requirement, two types of training modes are explored in multi-step prediction, where samples in a wall shear stress dataset are collected by an adaptive sliding window. On the basis of the multi-step prediction result, a Local Average with Adaptive Parameters (LAAP) algorithm is proposed to extract local numerical features of the time sequence and estimate the upcoming anomaly. The experimental results show that our proposed multi-step prediction method can achieve a higher prediction accuracy than traditional method in wall shear stress dataset, and the LAAP algorithm performs better than the absolute value-based method in anomaly detection task.

研究动机与目标

• 解决传统仿真方法计算成本高昂的复杂非线性动力系统中的异常检测挑战。
• 开发一种自动化的基于深度学习的方法，用于此类系统时间序列数据的早期异常检测。
• 利用LSTM网络提高壁面剪切应力在多个时间步上的预测精度。
• 设计一种有效的异常检测算法，在系统故障发生前识别潜在故障。

提出的方法

• 采用滑动窗口技术从壁面剪切应力时间序列中提取序列样本，用于LSTM模型的训练。
• 训练多层LSTM网络，以在不同时间步（1至10）上执行未来壁面剪切应力值的多步预测。
• 实施一种自适应参数局部平均（LAAP）算法，通过分析预测序列中的局部数值特征来检测异常。
• 利用LAAP算法基于预测值的偏差估计即将发生的异常，自适应阈值根据局部动态特性进行调整。
• 将预测和异常检测性能与ARIMA及基于绝对值的异常检测方法进行对比。
• 使用RMSE和误差分布指标评估模型性能，涵盖预测精度和异常出现时间的精确度。

实验结果

研究问题

• RQ1 基于LSTM的多步预测在预测非线性动力系统中的壁面剪切应力时，是否比传统ARIMA模型具有更高的精度？
• RQ2 与基于绝对值的基线方法相比，所提出的LAAP算法在异常检测方面的有效性如何？
• RQ3 随着预测时域的延长，LSTM的预测精度下降程度如何？
• RQ4 LAAP算法是否能通过减少预测异常发生时间与实际异常发生时间之间的误差，提高异常警报的时间精度？

主要发现

• 在单步预测中，LSTM多步预测在区域4的预测精度达到0.9991，在区域1达到0.9909，且随着预测时域的延长，精度逐渐下降。
• 在10步预测中，LSTM模型在区域1的预测精度保持在0.9346，在区域4保持在0.9713，显示出在较长时域下的鲁棒性。
• 对于预测时间步超过2的情况，LSTM模型的RMSE始终低于ARIMA，表明其具有更优的预测性能。
• 与基于绝对值的方法相比，LAAP算法在异常检测中实现零误差的次数超过20次，而后者仅14次，表明检测精度更高。
• LAAP的误差范围更窄（约-130至5），而基于绝对值的方法误差范围更宽（约-175至75），表明其在异常检测时间精度方面表现更优。
• LAAP算法在异常出现时间的精确度频率和整体误差分布方面均优于基于绝对值的方法，证实其在早期异常检测中的有效性。