[论文解读] Anomaly detection and motif discovery in symbolic representations of time series

Fabio Guigou, Pierre Collet+1 more|arXiv (Cornell University)|Jan 1, 2017

Time Series Analysis and Forecasting参考文献 14被引用 2

一句话总结

本文提出并评估了基于符号聚合近似（SAX）的时间序列异常检测与模式发现算法，表明尽管SAX方法在事后分析中表现有效，但其因下采样和滑动窗口处理导致的高延迟限制了实时应用。Sequitur与混沌博弈方法表现出较强的检测性能，但存在对周期性模式敏感性或长前瞻窗口需求的权衡。

ABSTRACT

The advent of the Big Data hype and the consistent recollection of event logs and real-time data from sensors, monitoring software and machine configuration has generated a huge amount of time-varying data in about every sector of the industry. Rule-based processing of such data has ceased to be relevant in many scenarios where anomaly detection and pattern mining have to be entirely accomplished by the machine. Since the early 2000s, the de-facto standard for representing time series has been the Symbolic Aggregate approXimation (SAX).In this document, we present a few algorithms using this representation for anomaly detection and motif discovery, also known as pattern mining, in such data. We propose a benchmark of anomaly detection algorithms using data from Cloud monitoring software.

研究动机与目标

• 解决从工业监控系统中大规模时间序列数据中检测异常并发现重复模式的挑战。
• 评估符号表示方法，特别是SAX，在真实世界网络与系统监控数据中用于异常检测与模式发现的有效性。
• 在真实云监控数据上对多种算法（Hot SAX、Sequitur、混沌博弈）进行基准测试，以识别其优势、劣势及部署约束。
• 评估在具有严格延迟与准确率要求的生产环境中，使用符号表示实现实时异常检测的可行性。

提出的方法

• 应用符号聚合近似（SAX）表示将连续时间序列转换为离散符号字符串，降低维度并支持基于字符串的模式挖掘。
• 采用Hot SAX通过识别偏离符号模式基线分布的稀有SAX词来进行异常检测。
• 使用Sequitur算法基于符号序列的可压缩性检测异常，将低复杂度模式标记为潜在异常。
• 实现混沌博弈表示（CGR）通过在几何空间中建模时间序列为轨迹，对结构偏离敏感，以检测异常。
• 采用最小描述长度（MDL）、语法推断与MK算法评估模式发现，以识别符号序列中的重复模式。
• 在真实云监控数据上进行对比基准测试，测量检测准确率、运行时间以及对周期性与循环行为的敏感性。

实验结果

研究问题

• RQ1 SAX基异常检测算法在识别系统监控数据中真实世界异常方面的有效性如何？
• RQ2 SAX基异常检测方法在检测准确率、计算成本与延迟之间存在何种权衡？
• RQ3 不同基于符号表示的算法（如Hot SAX、Sequitur、混沌博弈）在具有周期性、循环性或结构变化的时间序列上的表现如何？
• RQ4 考虑到下采样与窗口化带来的固有延迟，符号表示在多大程度上可支持实时异常检测？
• RQ5 结合符号处理与原始数据处理的混合方法是否能提升时间序列监控中的检测速度与准确率？

主要发现

• Sequitur在检测速度与对异常的敏感性方面表现最佳，尤其对增加复杂度的异常有效，但无法检测使模式简化的异常（如持续100% CPU负载）。
• 混沌博弈表示提供了高精度的异常检测与可预测的运行时间，但需要较长的前瞻窗口（至少为特征窗口的两倍），导致实时检测不可接受的延迟。
• Hot SAX在检测稀有符号模式方面极为准确，但计算成本高，且因CPU需求过大而不适合实时使用。
• 所有SAX基算法在检测每周或周期性模式中的异常时均表现不佳，尤其当基线行为本身具有循环性时，易导致误报或漏报。
• 研究结论认为，SAX等符号表示方法在事后分析中有效，但因下采样与窗口化带来的固有延迟，大多不适合实时异常检测。
• 建议采用混合方法：结合符号表示用于长期模式分析，同时对原始或量化数据进行实时处理，以作为降低检测延迟的可行路径。