[论文解读] Towards a Rigorous Evaluation of Time-series Anomaly Detection

Siwon Kim, Kukjin Choi+3 more|arXiv (Cornell University)|Sep 11, 2021

Anomaly Detection Techniques and Applications被引用 11

一句话总结

本文揭示，时间序列异常检测（TAD）中广泛使用的点调整（PA）协议严重高估了模型性能，因为随机异常得分在PA下也能达到最先进水平的F1分数。为解决此问题，作者提出一种使用未训练模型的新基线，以及一种改进的评估协议（PA%K），该协议减少了高估现象，表明当禁用PA时，大多数现有TAD方法相较于该基线并无明显提升。

ABSTRACT

In recent years, proposed studies on time-series anomaly detection (TAD) report high F1 scores on benchmark TAD datasets, giving the impression of clear improvements in TAD. However, most studies apply a peculiar evaluation protocol called point adjustment (PA) before scoring. In this paper, we theoretically and experimentally reveal that the PA protocol has a great possibility of overestimating the detection performance; that is, even a random anomaly score can easily turn into a state-of-the-art TAD method. Therefore, the comparison of TAD methods after applying the PA protocol can lead to misguided rankings. Furthermore, we question the potential of existing TAD methods by showing that an untrained model obtains comparable detection performance to the existing methods even when PA is forbidden. Based on our findings, we propose a new baseline and an evaluation protocol. We expect that our study will help a rigorous evaluation of TAD and lead to further improvement in future researches.

研究动机与目标

• 揭示点调整（PA）协议在TAD评估中引入的高估偏差。
• 挑战在PA后获得高F1分数即代表模型真正优越的假设。
• 使用未训练模型建立TAD性能的有意义基线。
• 提出一种新评估协议（PA%K），以减少对任意阈值选择的依赖，并缓解高估问题。
• 倡导采用更严格的评估标准，包括基线比较和替代指标（如AUROC和AUPR）。

提出的方法

• 提出PA%K，一种广义评估协议，通过在异常片段内要求最少正确预测点数，在标准F1（K=100）与F1_PA（K=0）之间插值。
• 提出一种新基线，使用未训练模型（如随机权重或固定随机得分）以衡量相对于简单非学习方法的改进程度。
• 通过在不同K值下计算F1_PA%K的曲线下面积（AUC），减少对单一阈值选择的敏感性。
• 使用真实世界TAD数据集（SWaT、WADI）在PA与非PA设置下，对比训练模型与所提基线及随机得分的表现。
• 应用替代指标（如AUROC和AUPR）以减少对阈值选择的依赖，提升评估的稳健性。
• 开展消融研究，分析窗口大小与阈值选择对基线性能的影响。

实验结果

研究问题

• RQ1 点调整（PA）协议是否系统性地高估了时间序列异常检测模型的性能？
• RQ2 随机或未训练的异常得分是否能获得与最先进模型相当的F1_PA分数，从而质疑当前评估协议的有效性？
• RQ3 当禁用PA时，现有TAD方法与所提出的未训练模型基线相比表现如何？
• RQ4 PA%K协议在多大程度上减少了高估现象，并提升了模型比较的可靠性？
• RQ5 哪些替代评估指标（如AUROC、AUPR）能提供更稳健、更公平的TAD比较？

主要发现

• 随机异常得分在SWaT和WADI等基准数据集上可获得与最先进模型相当的F1_PA分数，表明PA严重高估了性能。
• 当禁用PA时，大多数现有TAD方法相较于所提出的未训练模型基线并无显著改进，表明其在真实世界中的进展有限。
• PA%K协议能有效区分训练良好的模型与随机得分：训练模型在所有K值下均保持高F1_PA%K，而随机得分随K增加迅速下降。
• 在K值范围内F1_PA%K的AUC能清晰区分强模型（AUC = 0.88）与随机得分（AUC = 0.41），证实该协议能有效减少高估。
• 所提出的未训练模型基线在未启用PA时，始终优于或匹配许多现有TAD方法的表现，挑战了当前模型声称的优越性。
• 研究表明，阈值选择显著影响F1分数，而AUROC和AUPR等指标更具稳健性，对阈值调优的依赖更小。