[论文解读] Greenhouse: A Zero-Positive Machine Learning System for Time-Series Anomaly Detection

Tae J. Lee, Justin Gottschlich+3 more|arXiv (Cornell University)|Jan 9, 2018

Anomaly Detection Techniques and Applications参考文献 13被引用 31

一句话总结

Greenhouse 提出了一种基于零正样本 LSTM 的时间序列异常检测系统，训练过程中无需标注异常样本。通过利用多变量误差建模和马氏距离阈值，该系统在仅使用 LSTM-AD 所需 25% 训练数据的情况下，实现了具有竞争力的精确率（Twitter_AAPL 数据集上为 0.49），展现出在真实物联网应用中应对罕见且难以标注异常的强实用性。

ABSTRACT

This short paper describes our ongoing research on Greenhouse - a zero-positive machine learning system for time-series anomaly detection.

研究动机与目标

• 开发一种时间序列异常检测系统，训练过程中无需标注异常样本，以应对物联网中异常罕见且难以标注的实际挑战。
• 结合深度学习（LSTM）与概率建模，实现在高容量时间序列数据中的鲁棒、可扩展的异常检测。
• 将该框架扩展为支持实时、在线系统，具备持续推理与反馈集成能力，适用于动态环境。
• 支持范围异常检测与分布式物联网部署，提升在异构系统中的广泛适用性。
• 优化数据管理与高性能计算系统集成，实现时间序列分析流水线中的高效部署。

提出的方法

• 系统采用滑动窗口方法，利用在正常时间序列数据上训练的 LSTM 模型预测未来值。
• 对于每个时间点，计算一个误差向量，即在长度为 F 的未来窗口内，预测值与实际值之间的差异。
• 使用多元正态分布对误差向量进行建模，并计算马氏距离以检测与正常行为的偏离。
• 通过将马氏距离拟合到截断正态分布，并在用户指定的百分位数处选取分位数的逆函数，确定异常阈值 τ。
• 推理阶段将训练好的模型应用于新数据，将马氏距离超过 τ 的点标记为异常。
• 该框架支持在线推理、通过强化学习实现的反馈集成，并设计为可与时间序列数据管理系统集成。

实验结果

研究问题

• RQ1 如何在不依赖标注异常样本的情况下，有效实现时间序列数据的异常检测？
• RQ2 仅在正常数据上训练的深度学习模型，其异常检测性能是否能与需要正常和异常数据联合训练的模型相媲美？
• RQ3 如何通过误差建模与马氏距离，以系统化方式检测点异常与范围异常？
• RQ4 与现有方法相比，在显著减少训练数据量的情况下，性能与准确率之间的权衡如何？
• RQ5 如何将系统扩展以支持在分布式物联网环境中实现实时流式推理与反馈驱动的自适应？

主要发现

• 在 Twitter_AAPL 数据集上，Greenhouse 的精确率为 0.49，显著优于 LSTM-AD 的 0.22，且仅使用其 25% 的训练数据。
• 在 nyc_taxi 数据集上，Greenhouse 保持了 0.58 的高召回率，接近 LSTM-AD 的 0.82，同时 F1 分数也相当（0.35 对比 0.40）。
• 该系统证明了零正样本学习的可行性与有效性，无需异常样本，显著降低了数据收集与标注负担。
• Greenhouse 通过在误差向量上使用马氏距离，即使在训练数据有限且未接触过异常样本的情况下，也能实现鲁棒的异常检测。
• 初步结果表明，该框架可扩展至在线流式推理与基于反馈的学习，支持实时部署。
• 该系统的设计支持与高性能计算及时间序列数据管理系统集成，实现高效且可扩展的部署。