[论文解读] Anomaly Detection on Seasonal Metrics via Robust Time Series Decomposition

Tianwei Li, Yitong Geng+1 more|arXiv (Cornell University)|Aug 21, 2020

Anomaly Detection Techniques and Applications参考文献 15被引用 5

一句话总结

该论文提出 MEDIFF，一种针对季节性在线业务指标的鲁棒时间序列异常检测方法，通过基于中位数的分解方法分离趋势、季节性（包括夏令时和节假日影响）以及残差，并利用广义 ESD 检测异常。在 eBay 的标注生产数据上，MEDIFF 在召回率和精确率方面优于 SH-ESD 和 DONUT，尤其在夏令时和节日期间表现更优，归因于其对历史异常的鲁棒性以及有效的季节性补偿能力。

ABSTRACT

The stability and persistence of web services are important to Internet companies to improve user experience and business performances. To keep eyes on numerous metrics and report abnormal situations, time series anomaly detection methods are developed and applied by various departments in companies and institutions. In this paper, we proposed a robust anomaly detection algorithm (MEDIFF) to monitor online business metrics in real time. Specifically, a decomposition method using robust statistical metric--median--of the time series was applied to decouple the trend and seasonal components. With the effects of daylight saving time (DST) shift and holidays, corresponding components were decomposed from the time series. The residual after decomposition was tested by a generalized statistics method to detect outliers in the time series. We compared the proposed MEDIFF algorithm with two open source algorithms (SH-ESD and DONUT) by using our labeled internal business metrics. The results demonstrated the effectiveness of the proposed MEDIFF algorithm.

研究动机与目标

• 开发一种快速、鲁棒且适用于工业场景的实时异常检测方法，用于高吞吐量、具有季节性特征的业务指标。
• 解决因夏令时（DST）切换和节假日影响导致的异常检测挑战，这些因素会扭曲标准季节性模式。
• 确保对生产监控中常见的历史异常、缺失值和数据错误具有鲁棒的检测能力。
• 实现低于采样周期 20% 的低延迟检测，适用于每分钟采样指标的实时监控。
• 在标注的内部指标上，针对开源基线方法（SH-ESD、DONUT）评估性能，尤其关注夏令时和节日期间的表现。

提出的方法

• MEDIFF 使用移动中位数平滑技术将时间序列分解为趋势、季节性和残差分量。
• 季节性分量通过周环比中位数建模，并引入额外加权以捕捉夏令时和节假日影响。
• 通过在最优权重（γ=1, β=0.4）下组合周环比中位数与趋势分量，构建混合季节性分量。
• 残差通过从原始时间序列中减去分解出的趋势、夏令时季节性和节假日影响分量得到。
• 利用广义极端学生化偏差（ESD）检验检测残差中的异常值，设定 m≈600 个可疑异常值和 α=0.05。
• 该方法在 4 周时间序列窗口内以批处理方式应用，参数经调优以实现夏令时和节假日补偿。

实验结果

研究问题

• RQ1 基于中位数的鲁棒分解方法能否有效分离具有强季节性模式的一分钟采样业务指标中的趋势与季节性？
• RQ2 在周期性转换和特殊事件期间，引入夏令时与节假日影响补偿如何提升异常检测性能？
• RQ3 MEDIFF 是否在复杂季节性环境中优于现有开源方法（SH-ESD 和 DONUT），在检测真实异常的同时最小化误报？
• RQ4 使用鲁棒统计量（中位数）在多大程度上提升了对历史异常和数据错误的检测鲁棒性？
• RQ5 在低延迟条件下，对残差应用广义 ESD 检验能否实现实时异常检测中的高精确率与高召回率？

主要发现

• MEDIFF 在 A 组和 B 组指标上的召回率均高于 SH-ESD，表明其因鲁棒分解产生的更干净残差，能更有效地检测真实异常。
• MEDIFF 季节性分量中采用 γ=1 和 β=0.4 显著提升了夏令时和节日期间的检测性能，减少了残差失真。
• 经过夏令时/节假日补偿后，MEDIFF 的精确率与召回率均提升，更清晰的残差使 ESD 异常检测更加准确。
• SH-ESD 在夏令时和节日期间性能下降，主要由于 STL 分解方法在季节性模式发生偏移时存在局限性。
• DONUT 虽然整体 F1 分数高于 MEDIFF（γ=0, β=1）和 SH-ESD，但在夏令时/节假日期间仍报告了意外异常，导致精确率下降。
• 所提出的 MEDIFF 方法在具有复杂时间效应的工业级季节性业务指标中，展现出卓越的鲁棒性与检测精度。