[论文解读] Exathlon: A Benchmark for Explainable Anomaly Detection over Time Series

Vincent Jacob, Fei Song+4 more|arXiv (Cornell University)|Oct 10, 2020

Anomaly Detection Techniques and Applications参考文献 74被引用 13

一句话总结

Exathlon 是一个用于高维时间序列可解释异常检测的公开基准，基于真实 Apache Spark 集群日志构建，涵盖六类共 100 多个异常事件。它通过标准化的流水线支持异常检测与解释技术的评估，揭示了现有方法的局限性，并凸显了对可扩展、准确且一致的解释框架的迫切需求。

ABSTRACT

Access to high-quality data repositories and benchmarks have been instrumental in advancing the state of the art in many experimental research domains. While advanced analytics tasks over time series data have been gaining lots of attention, lack of such community resources severely limits scientific progress. In this paper, we present Exathlon, the first comprehensive public benchmark for explainable anomaly detection over high-dimensional time series data. Exathlon has been systematically constructed based on real data traces from repeated executions of large-scale stream processing jobs on an Apache Spark cluster. Some of these executions were intentionally disturbed by introducing instances of six different types of anomalous events (e.g., misbehaving inputs, resource contention, process failures). For each of the anomaly instances, ground truth labels for the root cause interval as well as those for the extended effect interval are provided, supporting the development and evaluation of a wide range of anomaly detection (AD) and explanation discovery (ED) tasks. We demonstrate the practical utility of Exathlon's dataset, evaluation methodology, and end-to-end data science pipeline design through an experimental study with three state-of-the-art AD and ED techniques.

研究动机与目标

• 解决高维时间序列中可解释异常检测（AD）缺乏标准化基准的问题，该问题阻碍了可复现的研究与进展。
• 提供一个源自真实分布式流式工作负载的综合性数据集，其中包含人为注入的异常，以反映真实系统行为。
• 设计统一的评估方法论，同时衡量异常检测（AD）和解释发现（ED）任务的功能性（准确性、简洁性、一致性）与计算效率。
• 通过整理好的数据、评估标准和可扩展的基础设施，支持 AD 与 ED 流水线的端到端基准测试，实现可复现的实验。
• 促进最先进 AD 与 ED 技术的对比分析，揭示当前方法的局限性，并指导未来研究方向。

提出的方法

• 在 2.5 个月内，从 10 个分布式 Spark 流式作业的 100 多次重复执行中收集实时遥测数据，注入六类异常（如行为异常的输入、资源争用、进程故障）。
• 为每个异常标注两个时间区间：故障根源区间（故障起源时间）和扩展影响区间（症状被观察到的时间）。
• 采用基于区间的准确性框架（Tatbul 等，2018）评估异常检测在四种设置下的表现：异常存在性检测、区间检测、早期检测和精确一次检测。
• 使用三个标准评估解释发现（ED）：简洁性、一致性和准确性，分别针对局部解释和全局解释设计独立指标。
• 设计端到端的数据科学流水线，将原始日志处理为 AD 和 ED 结果，包括数据预处理、模型训练、推理和基准评分。
• 集成计算效率指标（如执行时间），以评估在不同数据维度和采样率下的可扩展性。

实验结果

研究问题

• RQ1 最先进异常检测方法在具有多样化异常类型和真实世界噪声的现实高维时间序列基准上表现如何？
• RQ2 现有解释发现技术在识别异常根源方面，在简洁性、一致性和准确性方面达到何种程度？
• RQ3 在流式环境中，解释质量（如准确性、稳定性）与计算效率之间存在何种权衡？
• RQ4 在捕捉不同异常类型之间的因果关系时，模型依赖型与模型无关型解释技术相比表现如何？
• RQ5 该基准能否支持可扩展至生产工作负载的集成异常检测与解释发现系统的发展？

主要发现

• EXstream 在解释简洁性和稳定性方面优于 MacroBase 和 LIME，因其基于启发式方法剪枝了边缘相关特征，实现了对相似异常类型最高的一致性。
• LIME 生成的解释最长且最不稳定，平均执行时间高达 245 秒，因此不适合低延迟流式处理工作负载。
• MacroBase 通过评估大量特征组合，实现了比 EXstream 更高的局部解释准确性，但因依赖上下文的谓词而泛化能力差。
• 所有 ED 方法在全局解释准确性上均表现下降，尤其是在解释不同输入速率或系统上下文下的异常时，表明亟需上下文无关、时间相关的解释。
• EXstream 实现了最快的解释生成时间（约 0.01 秒），显著优于 MacroBase（0.2–9 秒）和 LIME（>4 分钟），凸显其在实时系统中的适用性。
• 该基准揭示，现有 AD 模型在噪声训练数据和混合异常类型下进行半监督学习时表现不佳，尤其在召回率和早期检测方面。