[论文解读] Real-time Drift Detection on Time-series Data

Nandini Ramanan, Rasool Tahmasbi+4 more|arXiv (Cornell University)|Oct 12, 2021

Data Stream Mining Techniques参考文献 9被引用 5

一句话总结

该论文提出UTDD，一种用于时间序列数据的无监督时间漂移检测方法，通过使用提升嵌入（Boosted Embeddings）去除季节性和周期性模式，再对残差进行z分数检测以识别概念漂移。该方法可在存在季节性变化的流式环境中实现实时、无标签的模型自适应，无需真实标签即可有效检测漂移，经合成数据验证，8月至9月和9月至10月期间的z分数分别为0.53和0.65，表明存在漂移。

ABSTRACT

Practical machine learning applications involving time series data, such as firewall log analysis to proactively detect anomalous behavior, are concerned with real time analysis of streaming data. Consequently, we need to update the ML models as the statistical characteristics of such data may shift frequently with time. One alternative explored in the literature is to retrain models with updated data whenever the models accuracy is observed to degrade. However, these methods rely on near real time availability of ground truth, which is rarely fulfilled. Further, in applications with seasonal data, temporal concept drift is confounded by seasonal variation. In this work, we propose an approach called Unsupervised Temporal Drift Detector or UTDD to flexibly account for seasonal variation, efficiently detect temporal concept drift in time series data in the absence of ground truth, and subsequently adapt our ML models to concept drift for better generalization.

研究动机与目标

• 解决在真实应用场景中缺乏真实标签时，时间序列数据中概念漂移检测的挑战。
• 开发一种方法，有效处理时间序列数据中复杂、非线性的季节性和周期性模式，且无需事先了解其结构。
• 通过检测去除季节性后残差行为中的统计漂移，实现自动化、低成本的模型重训练。
• 提供一种通用的、黑箱解决方案，适用于网络安全部署和系统监控等多样化领域的时间无监督时间漂移检测。

提出的方法

• 该方法使用提升嵌入（BE）以黑箱方式对原始时间序列数据中的季节性和周期性模式进行建模并去除。
• 通过从原始数据中减去拟合的季节性成分（来自BE）来计算残差，从而得到一个平稳序列。
• 计算残差序列的z分数，并与训练数据中基准z分数分布进行比较，以检测漂移。
• 该算法采用滑动窗口机制实现实时运行，支持对数据分布变化的持续监控。
• 将额外的分类变量（如工作日、节假日效应）作为外生输入，以提高季节性建模的准确性。
• 该方法设计为对现实数据中常见的未知、非线性及多周期性季节性具有鲁棒性。

实验结果

研究问题

• RQ1 在缺乏真实标签的情况下，能否可靠检测时间序列数据中的概念漂移？
• RQ2 如何有效建模并去除季节性和周期性模式，以隔离残差信号中的潜在漂移？
• RQ3 在多季节性环境中，无监督方法能否以高灵敏度和低误报率检测时间漂移？
• RQ4 残差序列的z分数如何与基准值比较，以指示统计漂移？

主要发现

• 该方法成功检测到8月与9月之间存在漂移，残差z分数为0.53，表明与基准存在显著偏离。
• 在9月与10月之间观察到更高的z分数0.65，证实数据分布进一步发生漂移。
• 使用提升嵌入使得在不了解其周期性或形状的情况下，也能准确建模复杂、非线性的季节性模式。
• 残差z分数分析提供了一种可靠、无标签的概念漂移指示器，可触发自动化重训练。
• 该方法在隔离漂移与季节性变化方面表现出色，即使在工作日与周末的季节性模式不同时也有效。