[论文解读] Automated Model Selection for Time-Series Anomaly Detection

Yuanxiang Ying, Juanyong Duan+4 more|arXiv (Cornell University)|Aug 25, 2020

Anomaly Detection Techniques and Applications参考文献 17被引用 5

一句话总结

本文提出了一种用于时间序列异常检测的自动化模型选择框架，可根据输入序列特征动态选择最合适的无监督异常检测模型及其最优超参数。该系统通过特征提取管道、模型选择器和参数估计器，提升在多样化时间序列模式下的检测准确率，真实世界部署显示显著降低了误报率，并通过灵敏度调节实现了更好的可定制性。

ABSTRACT

Time-series anomaly detection is a popular topic in both academia and industrial fields. Many companies need to monitor thousands of temporal signals for their applications and services and require instant feedback and alerts for potential incidents in time. The task is challenging because of the complex characteristics of time-series, which are messy, stochastic, and often without proper labels. This prohibits training supervised models because of lack of labels and a single model hardly fits different time series. In this paper, we propose a solution to address these issues. We present an automated model selection framework to automatically find the most suitable detection model with proper parameters for the incoming data. The model selection layer is extensible as it can be updated without too much effort when a new detector is available to the service. Finally, we incorporate a customized tuning algorithm to flexibly filter anomalies to meet customers' criteria. Experiments on real-world datasets show the effectiveness of our solution.

研究动机与目标

• 解决在工业环境中针对多样化、未标注且非平稳时间序列选择合适异常检测模型的挑战。
• 通过自动化模型与超参数选择，减少对人工调参和标注数据的依赖。
• 实现可定制的异常检测，使其与业务特定的灵敏度阈值保持一致。
• 在无需重新训练或监督的情况下，提升对异构时间序列模式的检测性能。
• 构建一个可扩展、可扩展的系统，集成多种检测器，并支持对数百万个信号的实时监控。

提出的方法

• 系统对输入时间序列应用一系列变换（例如，谱残差、FFT、去季节化），以提取82维的特征表示。
• 模型选择组件利用这些特征，从一组无监督检测器（例如，HBOS、SR、S-H-ESD）中自动选择最合适的异常检测模型。
• 每个选定的模型均配备一个专用的参数估计器，根据序列特征计算最优超参数（例如，阈值）。
• 该流水线支持单次遍历推理，避免了可能因表现较差的检测器导致污染的迭代集成方法。
• 可定制的调优层可根据用户定义的灵敏度水平调整异常边界，提升在不同信号幅度下的检测一致性。
• 该框架设计为可扩展，允许在不重新训练整个系统的情况下集成新检测器。

实验结果

研究问题

• RQ1 在无标注数据的情况下，自动化系统如何为给定时间序列选择最合适的异常检测模型？
• RQ2 哪些特征集合能够有效表征时间序列特征以指导模型选择？
• RQ3 参数估计器能否基于数据特征可靠地为每个选定模型计算最优超参数？
• RQ4 如何使异常检测结果可定制，以满足不同的业务灵敏度需求？
• RQ5 该系统能否在无需人工干预的情况下，显著降低多样化时间序列模式下的误报率？

主要发现

• 自动化模型选择框架在真实世界案例中显著降低了误报率，而传统模型如S-H-ESD因对噪声敏感且异常比例高而失效。
• 对于异常比例为0.18且具有噪声圆形模式的时间序列，系统选择了HBOS（阈值0.923），其性能优于S-H-ESD。
• 在异常比例为15%的季节性信号上，系统选择了谱残差（SR，阈值4.894），提升了检测的一致性。
• 可定制的调优层实现了在不同数值尺度下的稳定灵敏度，解决了用户报告的边界不一致问题。
• 该系统已成功部署于微软200多个产品团队，实时监控超过400万个时间序列，表现出优异的可扩展性能。
• 该方法通过每条序列仅使用一个选定模型，避免了弱检测器导致的污染风险，优于迭代集成方法。