[论文解读] LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection

Pankaj Malhotra, Anusha Ramakrishnan+4 more|arXiv (Cornell University)|Jul 1, 2016

Anomaly Detection Techniques and Applications参考文献 18被引用 345

一句话总结

本论文提出 EncDec-AD，一种仅在正常多传感器时间序列上训练的 LSTM 编解码器，通过重构误差检测异常，对可预测和不可预测序列均有效。它在多个真实数据集上进行评估，显示在不同时间模式下具有鲁棒的异常检测能力。

ABSTRACT

Mechanical devices such as engines, vehicles, aircrafts, etc., are typically instrumented with numerous sensors to capture the behavior and health of the machine. However, there are often external factors or variables which are not captured by sensors leading to time-series which are inherently unpredictable. For instance, manual controls and/or unmonitored environmental conditions or load may lead to inherently unpredictable time-series. Detecting anomalies in such scenarios becomes challenging using standard approaches based on mathematical models that rely on stationarity, or prediction models that utilize prediction errors to detect anomalies. We propose a Long Short Term Memory Networks based Encoder-Decoder scheme for Anomaly Detection (EncDec-AD) that learns to reconstruct 'normal' time-series behavior, and thereafter uses reconstruction error to detect anomalies. We experiment with three publicly available quasi predictable time-series datasets: power demand, space shuttle, and ECG, and two real-world engine datasets with both predictive and unpredictable behavior. We show that EncDec-AD is robust and can detect anomalies from predictable, unpredictable, periodic, aperiodic, and quasi-periodic time-series. Further, we show that EncDec-AD is able to detect anomalies from short time-series (length as small as 30) as well as long time-series (length as large as 500).

研究动机与目标

• 在外部因素使数据非平稳且不可预测时，激发对多传感器时间序列的异常检测。
• 提出 EncDec-AD，基于 LSTM 的编码-解码器，在正常序列上训练以重构输入并通过重构误差检测异常。
• 展示在可预测、不可预测、周期性、非周期性及准周期性时间序列上的鲁棒性。
• 展示在短序列和长序列上的有效性，并与基于预测的异常检测方法进行比较。

提出的方法

• 训练一个 LSTM 编解码器，通过反转目标序列来重构正常时间序列。
• 使用编码器的最终状态作为解码器的初始状态，在解码器顶部添加线性层来预测下一个值。
• 计算重构误差 e(i)=|x(i)−x'(i)|，在验证集上对高斯分布建模异常可能性，以获得异常分数 a(i)。
• 如果窗口的分数超过学习得到的阈值，则使用验证数据上的 Fβ 规划来标注为异常。
• 在具有不同动态性的多个数据集上评估性能（功率需求、航天飞机、ECG、Engine-P）。
• 可选地将 EncDec-AD 与基于预测的 LSTM-AD 进行比较，以突出在预测失败时的鲁棒性。

实验结果

研究问题

• RQ1 仅在正常序列上训练的 LSTM 编解码器能否在包含不可预测和准周期数据的多传感器时间序列中检测异常？
• RQ2 基于重构的异常分数在可预测、不可预测和周期性时间模式下的表现如何？
• RQ3 与基于预测的异常检测相比，EncDec-AD 在多样数据集上有哪些相对优势？
• RQ4 短序列（短至 30）是否也能有效用于异常分析？
• RQ5 参数选择（L、c、阈值）如何影响在不同数据集上的检测性能？

主要发现

数据集	L	c	β	P	R	Fβ-score	TPR/FPR
Power Demand	84	40	0.1	0.92	0.04	0.77	33.0
Space Shuttle	500	50	0.05	0.83	0.08	0.81	4.9
Engine-P	30	40	0.05	0.94	0.02	0.82	13.8
Engine-NP	30	90	0.05	1.0	0.01	0.83	∞
ECG	208	45	0.05	1.0	0.005	0.65	∞

• EncDec-AD 在所有数据集上均产生较高的正似然比，表明异常点的分数高于正常点。
• 该方法能够检测可预测、不可预测、周期性、非周期性和准周期性时间序列中的异常。
• 对于可预测的数据集，基于预测的 LSTM-AD 在某些任务上可能表现更好；而 EncDec-AD 在不可预测序列（Engine-NP）上尤为突出。
• Engine-NP 在非可预测情形下达到 Fβ-score 0.93，具有高TPR/FPR，展示鲁棒性。
• 功率需求、航天飞机、Engine-P 在 EncDec-AD 下在不同的 L、c、阈值设置中均表现出色。
• ECG 虽然是准周期性的，但基于重构的方法也取得显著的异常检测性能。