[论文解读] Event Discovery in Time Series

Dan Preston, Pavlos Protopapas+1 more|ArXiv.org|Jan 21, 2009

Time Series Analysis and Forecasting参考文献 21被引用 7

一句话总结

本文提出了一种与噪声无关、可变窗口的时序事件检测方法，通过将数据转换为秩空间并应用扫描统计与近似优化，实现对时序数据中统计显著事件的检测。该方法在MACHO数据集中，于结果的前1%内实现了对已知微引力透镜和蓝星事件的100%恢复，识别出传统检验方法未能发现的先前未被检测到的事件。

ABSTRACT

The discovery of events in time series can have important implications, such as identifying microlensing events in astronomical surveys, or changes in a patient's electrocardiogram. Current methods for identifying events require a sliding window of a fixed size, which is not ideal for all applications and could overlook important events. In this work, we develop probability models for calculating the significance of an arbitrary-sized sliding window and use these probabilities to find areas of significance. Because a brute force search of all sliding windows and all window sizes would be computationally intractable, we introduce a method for quickly approximating the results. We apply our method to over 100,000 astronomical time series from the MACHO survey, in which 56 different sections of the sky are considered, each with one or more known events. Our method was able to recover 100% of these events in the top 1% of the results, essentially pruning 99% of the data. Interestingly, our method was able to identify events that do not pass traditional event discovery procedures.

研究动机与目标

• 解决固定窗口、依赖噪声的时序事件检测方法在大规模天文巡天中的局限性。
• 开发一种可泛化的检测方法，无需对每条时序进行噪声建模，从而适用于具有不同噪声特征的多样化时序数据。
• 通过评估所有可能的区间长度和窗口大小，识别出统计显著事件（如微引力透镜或心律异常）。
• 通过计算优化，实现对大规模数据集（如MACHO巡天中的110,568条光曲线）的高效扩展。
• 通过在已知事件和合成基准测试中表现优越，明确区分事件检测与异常检测。

提出的方法

• 将每条时序数据转换为秩空间，将实数值数据映射为1到N之间的均匀分布，消除对底层噪声分布的依赖。
• 使用扫描统计计算所有可能区间（任意大小的滑动窗口）的p值，通过将观测到的窗口和与理论或蒙特卡洛推导的概率分布进行比较。
• 当解析计算不可行时，采用蒙特卡洛方法近似窗口和的抽样分布，从而实现可扩展性。
• 采用基于随机重启与最小化相结合的优化技术，近似全局最小p值，避免对所有区间进行暴力搜索。
• 使用聚类阈值θ合并相似的事件区域，以减少结果中的冗余，敏感性分析表明该方法在θ值从0.05到0.75范围内均表现稳健。
• 在集群上并行处理所有时序数据，每个时序在初始概率分布预计算后，以恒定时间独立处理。

实验结果

研究问题

• RQ1 是否能够开发一种与噪声无关的方法，在无需每条时序的噪声建模或固定窗口大小的前提下，检测时序中的显著事件？
• RQ2 秩空间变换在实现对具有不同噪声特征的多样化时序数据的通用统计显著性检验方面，效果如何？
• RQ3 近似优化技术在大规模时序数据分析中，能在多大程度上降低计算成本，同时保持检测精度？
• RQ4 与传统异常检测算法（如HOT SAX）相比，该方法在识别已知和新型事件方面表现如何？
• RQ5 该方法对关键参数（如随机重启次数和聚类阈值θ）的敏感性如何？

主要发现

• 该方法在MACHO数据集的前1%结果中，实现了对所有已知微引力透镜和蓝星事件的100%恢复，有效剔除了99%的数据。
• 该方法识别出在传统统计检验（如χ²检验）中失败的事件，表明其能够检测到细微或非标准事件。
• 在具有不同长度、大小和噪声特征的合成时序中，该方法实现了零假阳性，并100%检测到所有注入的事件。
• 该方法的计算复杂度与时序数量呈线性关系，平均每条时序处理时间约为0.13秒，110,568条时序的完整分析在集群上耗时4分23秒。
• 结果对参数变化具有鲁棒性：随机重启次数在达到合理阈值后收益递减，聚类参数θ在0.05 ≤ θ ≤ 0.75范围内对结果影响极小。
• 在真实和合成数据中，该方法在识别有意义事件方面优于HOT SAX异常检测算法，凸显了事件检测与异常检测之间的本质区别。