[论文解读] Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood

Derek Farren, Thai Pham+1 more|arXiv (Cornell University)|Nov 11, 2016

Anomaly Detection Techniques and Applications参考文献 6被引用 4

一句话总结

本文提出一种基于正则化自回归分布滞后模型的低延迟异常检测系统，并通过贝叶斯网络扩展以实现实时预测异常概率。该方法通过将残差误差建模为未来异常的预测因子，利用线性高斯条件概率，在四条时间序列测试集上实现了0.78的F₁分数。

ABSTRACT

We develop a supervised machine learning model that detects anomalies in systems in real time. Our model processes unbounded streams of data into time series which then form the basis of a low-latency anomaly detection model. Moreover, we extend our preliminary goal of just anomaly detection to simultaneous anomaly prediction. We approach this very challenging problem by developing a Bayesian Network framework that captures the information about the parameters of the lagged regressors calibrated in the first part of our approach and use this structure to learn local conditional probability distributions.

研究动机与目标

• 为高吞吐量、非平稳的时间序列流开发一种实时、低延迟的异常检测系统。
• 通过建模时间序列之间的时序依赖关系，将检测扩展为预测性异常预报。
• 在不预先假设其结构的前提下，捕捉时间序列间的潜在依赖关系。
• 构建一个可扩展的贝叶斯网络框架，基于滞后预测系数估计未来异常的可能性。
• 通过生成模型对异常过程进行建模，以支持可解释性及超越分类的推理。

提出的方法

• 在滑动窗口内，对所有时间序列的所有历史值应用L1-正则化的自回归分布滞后模型，以预测当前值。
• 使用最小二乘回归估计模型系数，并计算预测残差，将残差归一化至(0,1)区间以实现概率解释。
• 构建一个贝叶斯网络，其中时间序列的异常概率被建模为残差误差和滞后预测系数的逻辑函数。
• 通过最小二乘拟合线性高斯模型，将残差与预测变量关联，学习条件概率分布。
• 将异常发生定义为一个二值变量，其中P(A_i=1 | ε̂) = min(1, α·ε̂)，其中α通过交叉验证调优以最大化F₁分数。
• 通过将条件分布视为后验分布来简化推理，避免复杂先验设定。

实验结果

研究问题

• RQ1 能否在无界时间序列流上，使用正则化自回归模型构建低延迟、实时的异常检测系统？
• RQ2 在异常预测中，非平稳时间序列之间的潜在依赖关系在多大程度上能被有效捕捉？
• RQ3 贝叶斯网络在使用滞后回归模型系数时，对预测未来异常概率的建模效果如何？
• RQ4 在使用生成模型进行异常预测时，预测性能与模型可解释性之间的权衡如何？
• RQ5 检测模型的残差能否被可靠地转换为概率性异常预测？

主要发现

• 所提出的异常检测模型通过使用滑动窗口和高维时间序列数据的L1-正则化回归，实现了实时性能。
• 贝叶斯网络框架成功利用滞后回归系数对异常概率进行建模，实现了超越检测的预测能力。
• 在简化后的四条时间序列数据集上（h=43,200, w=7,200, n=4），经超参数调优后，模型F₁分数达到0.78，其中α=5/6。
• 由于生成模型的近似和简化，模型性能低于判别式基线方法（如DPCA），这是可预期的。
• 检测模型的残差经过归一化后，被用作逻辑回归类模型的输入，以估计异常概率。
• 该方法通过显式建模异常的生成过程，实现了可解释性，支持对潜在数据生成机制的未来推理查询。