[论文解读] MOSPAT: AutoML based Model Selection and Parameter Tuning for Time Series Anomaly Detection

Sourav Chatterjee, Rohan Bopardikar+3 more|arXiv (Cornell University)|May 24, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

MOSPAT 提出了一种用于时间序列异常检测的自动化机器学习（AutoML）框架，通过生成模型在缺乏真实标签的情况下创建合成标注数据，实现模型与超参数的自动化选择。该框架在合成数据和真实世界数据集上均持续优于单一算法，实现更优的 F1 分数，且无需人工干预。

ABSTRACT

Organizations leverage anomaly and changepoint detection algorithms to detect changes in user behavior or service availability and performance. Many off-the-shelf detection algorithms, though effective, cannot readily be used in large organizations where thousands of users monitor millions of use cases and metrics with varied time series characteristics and anomaly patterns. The selection of algorithm and parameters needs to be precise for each use case: manual tuning does not scale, and automated tuning requires ground truth, which is rarely available. In this paper, we explore MOSPAT, an end-to-end automated machine learning based approach for model and parameter selection, combined with a generative model to produce labeled data. Our scalable end-to-end system allows individual users in large organizations to tailor time-series monitoring to their specific use case and data characteristics, without expert knowledge of anomaly detection algorithms or laborious manual labeling. Our extensive experiments on real and synthetic data demonstrate that this method consistently outperforms using any single algorithm.

研究动机与目标

• 解决在缺乏专家知识或标注数据的情况下，为大型组织中多样化的时间序列选择最优异常检测算法与参数的挑战。
• 开发一种可扩展的自动化系统，使单个用户能够根据自身数据特征设置有效的监控方案。
• 通过生成模仿真实数据分布的合成、标注异常数据，克服真实时间序列中缺乏真实标签的问题。
• 证明自动化机器学习方法可在多种数据类型与异常模式下持续优于单一的最先进异常检测算法。

提出的方法

• 生成模型将三种类型的异常——脉冲、水平偏移和趋势偏移——注入未标注的时间序列中，以生成合成的、标注的训练数据。
• 提取时间序列特征（如自相关性、峰度、趋势强度等）以表示每条时间序列，作为模型输入。
• 训练一个监督学习模型，基于这些特征预测最优的异常检测算法与超参数组合。
• 该框架使用经过筛选的8种基础算法（如 BOCPD、Outlier、Prophet、MKDetector）进行评估与选择。
• 系统在合成数据和来自不同领域的真实世界数据集（包括人体活动识别与系统监控）上进行评估。
• 对自动化机器学习流程应用超参数调优，以进一步提升性能，未来扩展中将采用贝叶斯优化。

实验结果

研究问题

• RQ1 在无真实标签的情况下，自动化机器学习系统能否有效推荐最适合时间序列的异常检测算法与参数？
• RQ2 生成模型在多大程度上能模拟真实的时间序列与异常模式，以支持在缺乏标注数据情况下的监督学习？
• RQ3 自动化机器学习方法是否能在不同数据分布与异常类型下持续优于单一的最先进异常检测算法？
• RQ4 自动化机器学习系统的性能在多大程度上能泛化至合成数据、注入异常的真实数据，以及具有自然异常的真实数据？

主要发现

• 在合成数据上，自动化机器学习方法在超参数优化后达到 F1 分数 0.498，显著优于次佳基线方法（Outlier 为 0.287）。
• 在注入异常的真实数据上，自动化机器学习方法达到 F1 分数 0.498，优于 BOCPD（0.352）与 MKDetector（0.468），展现出在复杂分布下的鲁棒性。
• 在具有自然异常的真实数据上，自动化机器学习方法在随机超参数设置下仍保持优异性能，F1 分数达 0.415，优于所有单一算法。
• 生成模型成功生成了分布与真实数据高度匹配的合成数据，即使在无真实数据的区域也表现良好，表明其具备广泛的异常覆盖能力。
• 无单一基础算法在所有数据类型中持续优于其他算法——Outlier 在合成数据上表现最佳，BOCPD 在注入异常的真实数据上表现最佳，MKDetector 在具有自然异常的真实数据上表现最佳——凸显了自适应选择的必要性。
• 自动化机器学习在所有评估场景中均持续优于所有单一算法，证明其在真实世界无监督环境下的有效性。