[论文解读] A Joint Model for Anomaly Detection and Trend Prediction on IT Operation Series

Run-Qing Chen, Guanghui Shi+2 more|arXiv (Cornell University)|Oct 9, 2019

Network Security and Intrusion Detection被引用 4

一句话总结

本文提出ADTP，一种结合变分自编码器（VAE）与长短期记忆（LSTM）网络的联合模型，用于在IT运维时间序列中同时实现异常检测与趋势预测。通过将VAE重建的干净序列作为LSTM的输入，该模型增强了对噪声的鲁棒性，并捕捉长期模式，从而在两个基准数据集上验证后，提升了异常检测与预测性能。

ABSTRACT

Anomaly detection and trend prediction are two fundamental tasks in automatic IT systems monitoring. In this paper, a joint model Anomaly Detector & Trend Predictor (ADTP) is proposed. In our design, the variational auto-encoder (VAE) and long short-term memory (LSTM) are joined together to address both anomaly detection and trend prediction. The prediction block (LSTM) takes clean input from the reconstructed time series by VAE, which makes it robust to the anomalies and noise. In the meantime, the LSTM block maintains the long-term sequential patterns, which are out of the sight of a VAE encoding window. This leads to the better performance of VAE in anomaly detection than it is trained alone. In the whole processing pipeline, the spectral residual analysis is integrated with VAE and LSTM to boost the performance of both. The superior performance on two tasks is confirmed with the experiments on two challenging evaluation benchmarks.

研究动机与目标

• 解决IT运维监控系统中异常检测与趋势预测的双重挑战。
• 克服独立VAE在捕捉长期依赖关系及处理噪声数据方面的局限性。
• 通过将谱残差分析与深度学习组件结合，提升预测准确率与异常检测性能。
• 构建一个统一框架，利用重建质量与序列建模能力，实现对时间序列的增强理解。

提出的方法

• 采用变分自编码器（VAE）对输入时间序列进行重建，以过滤噪声与异常。
• 将VAE重建的干净序列输入LSTM网络，以建模长期时间依赖关系并实现趋势预测。
• 将谱残差分析集成到处理流程中，以增强对异常的敏感性并提升重建质量。
• 联合训练VAE与LSTM组件，以同时优化异常检测与预测目标。
• 使用VAE重建的序列作为LSTM的输入，确保预测模块在去噪、稳定的输入上运行。
• 在统一架构中融合VAE（表征学习与去噪）与LSTM（序列建模）的优势。

实验结果

研究问题

• RQ1 联合模型能否在IT运维时间序列中有效同时实现异常检测与趋势预测？
• RQ2 在存在噪声与异常的情况下，使用VAE重建的序列作为LSTM输入，如何提升基于LSTM的趋势预测性能？
• RQ3 集成谱残差分析在多大程度上提升了联合模型的性能？
• RQ4 VAE与LSTM的联合训练是否能带来优于单独训练VAE的异常检测效果？

主要发现

• 与基线模型相比，联合ADTP模型在异常检测与趋势预测任务上均表现出更优性能。
• 将VAE重建的序列作为LSTM输入，通过降低噪声与异常的影响，提升了预测的鲁棒性与准确性。
• 谱残差分析的集成增强了模型对异常的敏感性，从而改善了检测性能。
• 在ADTP框架中，VAE的异常检测性能优于单独训练时的表现，这是由于其在更清洁、具备长期感知能力的序列上实现了更优的重建。
• 该模型在两个具有挑战性的真实世界IT运维基准数据集上展现出强大的泛化能力，证实了其在实际监控场景中的有效性。