[论文解读] Finding Anomalous Periodic Time Series: An Application to Catalogs of Periodic Variable Stars

Umaa Rebbapragada, Pavlos Protopapas+2 more|ArXiv.org|May 21, 2009

Time Series Analysis and Forecasting参考文献 40被引用 63

一句话总结

本文提出PCAD，一种用于大规模、非同步周期性时间序列（如变星的光曲线）的无监督异常检测方法。该方法在采样数据上使用改进的k-means聚类方法生成中心点，然后基于到这些中心点的距离计算异常得分，从而实现对全局和局部异常的高精度可扩展检测，且在真实天体物理数据上表现优异。

ABSTRACT

Catalogs of periodic variable stars contain large numbers of periodic light-curves (photometric time series data from the astrophysics domain). Separating anomalous objects from well-known classes is an important step towards the discovery of new classes of astronomical objects. Most anomaly detection methods for time series data assume either a single continuous time series or a set of time series whose periods are aligned. Light-curve data precludes the use of these methods as the periods of any given pair of light-curves may be out of sync. One may use an existing anomaly detection method if, prior to similarity calculation, one performs the costly act of aligning two light-curves, an operation that scales poorly to massive data sets. This paper presents PCAD, an unsupervised anomaly detection method for large sets of unsynchronized periodic time-series data, that outputs a ranked list of both global and local anomalies. It calculates its anomaly score for each light-curve in relation to a set of centroids produced by a modified k-means clustering algorithm. Our method is able to scale to large data sets through the use of sampling. We validate our method on both light-curve data and other time series data sets. We demonstrate its effectiveness at finding known anomalies, and discuss the effect of sample size and number of centroids on our results. We compare our method to naive solutions and existing time series anomaly detection methods for unphased data, and show that PCAD's reported anomalies are comparable to or better than all other methods. Finally, astrophysicists on our team have verified that PCAD finds true anomalies that might be indicative of novel astrophysical phenomena.

研究动机与目标

• 解决在缺乏相位对齐的情况下，从变星的大量非同步周期性光曲线目录中检测异常的挑战，因为传统时间序列方法因相位错位而失效。
• 克服现有异常检测方法在时间序列对齐前需进行昂贵计算的可扩展性限制。
• 开发一种方法，在无需相位同步的情况下，识别大规模、高维、噪声时间序列数据中的全局和局部异常。
• 通过标记异常光曲线（可能代表新型变星类别）实现对新型天体物理现象的自动发现。
• 在真实天文数据上验证该方法的有效性，并展示其相对于基线方法和现有时间序列异常检测技术的优越性。

提出的方法

• 对光曲线的随机样本应用改进的k-means聚类算法，生成一组具有代表性的中心点，作为异常评分的参考模式。
• 将每条光曲线的异常得分计算为其到最近中心点的距离（使用基于相关性的度量），从而实现对全局和局部异常的检测。
• 通过采样实现方法的可扩展性，确保在大规模部署的在线阶段具有线性时间复杂度。
• 对光曲线进行预处理，通过折叠至单个周期并应用通用相位对齐以统一最大值表示，同时保留不同光曲线之间的原始相位差异。
• 采用基于相关性的距离度量，可处理相位偏移，使即使周期未对齐的光曲线也能进行比较。
• 根据光曲线到中心点的距离对异常进行排序，生成一个按可疑程度排列的光曲线列表，供进一步天体物理分析。

实验结果

研究问题

• RQ1 无监督异常检测方法是否能在无需相位对齐的情况下，有效识别大规模非同步数据集中不典型的周期性光曲线？
• RQ2 在未对相位的数据上，PCAD相较于朴素方法和现有时间序列异常检测方法，在异常检测准确率和可扩展性方面表现如何？
• RQ3 PCAD在真实变星目录中检测已知异常和潜在新型天体物理现象的能力有多强？
• RQ4 样本大小和中心点数量对PCAD异常检测的稳定性与准确性有何影响？
• RQ5 PCAD的输出能否经由领域专家验证？所标记的异常是否对应于物理上有意义的偏离？

主要发现

• PCAD成功识别出已知异常，如分类错误的恒星、噪声光曲线，以及具有异常特征（如长平台或周期性尖峰）的光曲线。
• 该方法在未对相位的数据上优于朴素方法和现有时间序列异常检测方法，报告的异常结果与其它方法相比相当或更优。
• 天体物理学家验证了PCAD所标记的异常为真实异常，包括一颗具有规则尖峰但非噪声的造父变星样恒星，提示可能存在新的物理过程。
• 在排名靠前的异常中，部分光曲线表现出偏心轨道、第三体效应或反射现象等特征，表明存在天体物理上重要的偏离。
• 通过采样实现可扩展性，使该方法能高效处理大规模数据集，具备处理如Pan-STARRS等巡天中数十亿条光曲线的潜力。
• 在造父变星、食双星和RR Lyrae数据集中排名靠前的异常包括分类错误的恒星、高噪声观测，以及需进一步研究的罕见形态特征。