[论文解读] Anomaly Detection on IT Operation Series via Online Matrix Profile

Shi-Ying Lan, Run-Qing Chen+1 more|arXiv (Cornell University)|Aug 27, 2021

Anomaly Detection Techniques and Applications参考文献 29被引用 6

一句话总结

本文提出在线矩阵轮廓（OMP），一种无需训练的IT运维时间序列异常检测方法，通过结合距离显著性与谱残差实现实时异常检测。OMP在计算成本极低的情况下实现了最先进水平的检测精度，在多个KPI数据集上，其速度与可扩展性均优于基于深度学习的模型。

ABSTRACT

Anomaly detection on time series is a fundamental task in monitoring the Key Performance Indicators (KPIs) of IT systems. Many of the existing approaches in the literature show good performance while requiring a lot of training resources. In this paper, the online matrix profile, which requires no training, is proposed to address this issue. The anomalies are detected by referring to the past subsequence that is the closest to the current one. The distance significance is introduced based on the online matrix profile, which demonstrates a prominent pattern when an anomaly occurs. Another training-free approach spectral residual is integrated into our approach to further enhance the detection accuracy. Moreover, the proposed approach is sped up by at least four times for long time series by the introduced cache strategy. In comparison to the existing approaches, the online matrix profile makes a good trade-off between accuracy and efficiency. More importantly, it is generic to various types of time series in the sense that it works without the constraint from any trained model.

研究动机与目标

• 解决基于训练的异常检测模型在大规模IT运维中带来的高计算与维护成本问题。
• 在无需标注数据或模型微调的前提下，实现实时、可扩展的数百个KPI时间序列异常检测。
• 通过在矩阵轮廓中引入距离显著性，提升对非周期性、振幅变化及趋势漂移时间序列的检测精度。
• 通过高效的缓存策略降低长序列的推理时间，同时保持检测性能。

提出的方法

• 通过仅维护最近的子序列，将矩阵轮廓适配至在线设置，实现实时处理并增强对趋势漂移的鲁棒性。
• 引入距离显著性作为关键指标，检测与最近邻显著不同的异常，使检测结果对振幅变化不敏感。
• 将谱残差（SR）作为互补方法，检测距离显著性遗漏的异常，尤其适用于渐变或重复性异常模式。
• 采用缓存策略通过重用先前计算的矩阵轮廓值来加速计算，使长序列的时间复杂度至少降低四倍。
• 在混合框架中结合在线矩阵轮廓与谱残差，提升检测精度，且无需模型训练。
• 仅使用最近的子序列窗口进行距离计算，确保在KPI发生概念漂移时无需重新训练即可自适应。

实验结果

研究问题

• RQ1 无训练方法是否能在无需标注数据或模型微调的前提下，于多样化IT运维时间序列上实现具有竞争力的异常检测精度？
• RQ2 与原始矩阵轮廓相比，距离显著性在多大程度上提升了对振幅变化的异常检测鲁棒性？
• RQ3 谱残差的集成在多大程度上可增强在线矩阵轮廓无法识别异常时的检测性能？
• RQ4 所提出的缓存策略在加速长序列检测的同时，是否能有效保持精度？
• RQ5 在真实监控场景中，与VAE、PAD和SR-CNN等最先进基于训练的模型相比，在线矩阵轮廓在效率与精度方面表现如何？

主要发现

• 在Yahoo数据集上，OMP在所有对比方法中取得了最佳F1分数，包括PAD与SR-CNN等深度学习模型。
• 在Yahoo数据集上，OMP优于Online-VAE与Online-PAD，后两者因增量训练开销导致性能显著下降。
• PAD的训练成本极高（14,535.43秒），而OMP无需训练，单个数据集的推理时间不足10秒。
• 缓存策略使OMP在长序列上的处理速度至少提升四倍，显著降低计算成本且性能损失极小。
• OMP成功检测到周期性与非周期性时间序列中的异常，包括传统矩阵轮廓难以处理的渐变与重复性异常。
• 谱残差通过检测距离显著性较低但实际为异常的样本（如图6(c)中的第三个异常）对OMP形成有效补充，该异常虽距离显著性低但实际异常。