[论文解读] A review on outlier/anomaly detection in time series data

Ane Blázquez-García, Ángel Conde+2 more|arXiv (Cornell University)|Feb 11, 2020

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了时间序列数据中异常检测技术的全面分类体系与最新研究综述，根据其核心特征和应用场景对方法进行分类。该研究评估了基于统计、基于距离、聚类和机器学习方法的点异常、子序列异常及整体时间序列异常检测，指出了现有方法的若干缺陷，如对周期性子序列异常处理有限，以及多变量变量间异常传播问题。

ABSTRACT

Recent advances in technology have brought major breakthroughs in data collection, enabling a large amount of data to be gathered over time and thus generating time series. Mining this data has become an important task for researchers and practitioners in the past few years, including the detection of outliers or anomalies that may represent errors or events of interest. This review aims to provide a structured and comprehensive state-of-the-art on outlier detection techniques in the context of time series. To this end, a taxonomy is presented based on the main aspects that characterize an outlier detection technique.

研究动机与目标

• 为时间序列数据中的异常检测技术提供结构化、全面的概述。
• 基于定义异常检测方法的关键特征，建立分类体系。
• 识别当前方法在子序列和多变量异常检测方面的研究空白。
• 指导研究人员和实践者根据问题背景和数据类型选择合适的技术。
• 报告公开可用的时间序列异常检测软件工具。

提出的方法

• 提出一种基于核心特征（如检测类型：点异常、子序列异常、时间序列；数据类型：单变量、多变量；方法论路径）对异常检测技术进行分类的分类体系。
• 综述统计方法（如Z分数、Grubbs-Beck检验）、基于距离的技术（如马氏距离）、基于聚类的方法以及机器学习模型（如自编码器、LSTM）。
• 分析相异度度量（如欧几里得距离和动态时间规整DTW）的使用，强调其对检测性能的影响。
• 评估方法在可扩展性及实时适用性方面的表现，特别是在流式或增量处理环境中的表现。
• 讨论多变量异常检测中的挑战，包括单变量方法无法捕捉变量间相关性的问题。
• 强调元学习在基于相异度方法中自动选择最优距离度量方面的潜力。

实验结果

研究问题

• RQ1 时间序列数据中异常检测技术的主要类别及其特征是什么？
• RQ2 不同方法论路径（统计、基于距离、聚类、机器学习）在检测点异常、子序列异常和整体时间序列异常方面有何比较？
• RQ3 当前技术在处理周期性子序列异常和多变量异常传播方面存在哪些局限性？
• RQ4 DTW等相异度度量与欧几里得距离相比，在提升检测精度方面表现如何？
• RQ5 在实时或流式数据环境中，这些方法的适应面临哪些关键挑战？

主要发现

• 大多数现有方法依赖欧几里得距离以实现计算效率，尽管DTW可能通过更好地捕捉时间模式来提升检测效果。
• 目前缺乏针对多变量时间序列中周期性子序列异常检测的方法，尤其在网络安全或欺诈检测场景中更为明显。
• 通过滑动窗口对所有子序列进行聚类通常会产生无意义的结果；非重叠窗口可能遗漏非周期性异常。
• 单变量技术无法检测违反变量间相关性的多变量异常，即使各变量单独看均正常。
• 异常在时间上跨变量传播（即从一个变量开始，随后影响其他变量）的问题在现有文献中仍未得到充分解决。
• 元学习方法在自动选择最优距离度量方面展现出潜力，可提升检测的鲁棒性。