[论文解读] Feedforward Neural Network for Time Series Anomaly Detection

Rong Zhang, Dong Shandong+2 more|arXiv (Cornell University)|Dec 20, 2018

Anomaly Detection Techniques and Applications参考文献 8被引用 7

一句话总结

本文提出一种前馈神经网络用于时间序列异常检测，通过从归一化原始数据端到端学习模式，消除了对手动特征工程的需求。该模型在离线精度和召回率方面优于经过大量特征工程的XGBoost，其隐层输出可作为有意义的时间序列表征。

ABSTRACT

Time series anomaly detection is usually formulated as finding outlier data points relative to some usual data, which is also an important problem in industry and academia. To ensure systems working stably, internet companies, banks and other companies need to monitor time series, which is called KPI (Key Performance Indicators), such as CPU used, number of orders, number of online users and so on. However, millions of time series have several shapes (e.g. seasonal KPIs, KPIs of timed tasks and KPIs of CPU used), so that it is very difficult to use a simple statistical model to detect anomaly for all kinds of time series. Although some anomaly detectors have developed many years and some supervised models are also available in this field, we find many methods have their own disadvantages. In this paper, we present our system, which is based on deep feedforward neural network and detect anomaly points of time series. The main difference between our system and other systems based on supervised models is that we do not need feature engineering of time series to train deep feedforward neural network in our system, which is essentially an end-to-end system.

研究动机与目标

• 开发一种稳健的、端到端的深度学习模型，用于时间序列异常检测，以减少对人工特征工程的依赖。
• 提升大规模工业监控环境中异常检测系统的精度和召回率。
• 证明深度前馈网络可直接从原始数据中学习复杂的时间序列模式，而无需事先进行统计或领域特定的特征提取。
• 表明训练网络的隐层表征可作为时间序列的有效、学习得到的特征。

提出的方法

• 该模型使用深度前馈神经网络，在归一化原始时间序列数据上进行端到端训练，以预测异常标签。
• 采用基于ReLU和Sigmoid激活函数的自定义可微分近似方法，将基于阈值的特征（如x ≥ a）表示为可学习组件。
• 网络架构通过多层全连接层、批归一化和ReLU激活函数，设计用于编码时间序列模式。
• 关键特征如“高于均值的计数”和“低于均值的计数”通过指示函数的可微分近似实现，支持反向传播通过这些操作。
• 模型使用类别平衡采样的二元交叉熵损失进行训练，以应对异常的长尾分布。
• 训练完成后，提取隐层激活作为紧凑且有意义的时间序列表征，用于下游分析或迁移学习。

实验结果

研究问题

• RQ1 前馈神经网络是否能在不依赖手工特征的情况下有效检测时间序列异常？
• RQ2 与经过大量特征工程的传统模型（如XGBoost）相比，端到端深度前馈网络的性能如何？
• RQ3 训练网络的隐层表征是否可作为时间序列的有用、语义明确的特征？
• RQ4 对离散操作（如阈值）的可微分近似在构建完全可训练的异常检测模型方面可达到何种程度？

主要发现

• 所提出的前馈神经网络在离线精度和召回率方面优于使用大量人工工程特征训练的XGBoost模型。
• 该模型成功在无需任何显式特征工程的情况下检测异常，仅依赖于归一化原始时间序列数据。
• 训练后网络的隐层输出被证明是时间序列的有效、有意义的表征，能够捕捉底层模式和趋势。
• 网络通过使用可微分函数近似离散操作（如阈值和计数）的能力，实现了端到端训练，并提升了模型泛化能力。
• 该方法表明，深度前馈网络可作为实时异常检测在高容量工业时间序列中的稳健、可扩展的解决方案。