[论文解读] An Evaluation of Change Point Detection Algorithms

Gerrit J. J. van den Burg, Christopher K. I. Williams|arXiv (Cornell University)|Mar 13, 2020

Mental Health Research Topics被引用 87

一句话总结

这篇论文创建了一个真实世界、人工标注的基准数据集，包含37个真实时间序列（42个包括质量控制序列），用于评估变化点检测算法，定义了针对多重真值注释的评估指标，并在默认和Oracle设置下对14个CPD方法进行了基准测试。

ABSTRACT

Change point detection is an important part of time series analysis, as the presence of a change point indicates an abrupt and significant change in the data generating process. While many algorithms for change point detection have been proposed, comparatively little attention has been paid to evaluating their performance on real-world time series. Algorithms are typically evaluated on simulated data and a small number of commonly-used series with unreliable ground truth. Clearly this does not provide sufficient insight into the comparative performance of these algorithms. Therefore, instead of developing yet another change point detection method, we consider it vastly more important to properly evaluate existing algorithms on real-world data. To achieve this, we present a data set specifically designed for the evaluation of change point detection algorithms that consists of 37 time series from various application domains. Each series was annotated by five human annotators to provide ground truth on the presence and location of change points. We analyze the consistency of the human annotators, and describe evaluation metrics that can be used to measure algorithm performance in the presence of multiple ground truth annotations. Next, we present a benchmark study where 14 algorithms are evaluated on each of the time series in the data set. Our aim is that this data set will serve as a proving ground in the development of novel change point detection algorithms.

研究动机与目标

• 提供一个现实世界时间序列的真实基准数据集，用于评估变化点检测算法。
• 制定考虑多个人类真值注释的评估指标。
• 基准测试广泛的现有CPD方法，以确定在真实数据上的优点、弱点和失败模式。

提出的方法

• 汇聚一个多领域的真实世界时间序列数据集（37序列，42个包括质量控制）并由五名人工标注者对每个序列标注真值变化点。
• 制定能够处理多真值注释的评估指标，包括一种聚类式覆盖度量以及带误差容忍(M=5)的精确度/召回率。
• 提供标注工具和自动一致性检查以评估标注者的一致性。
• 使用两种实验设置评估14种CPD算法：默认（使用软件包默认参数）和Oracle（网格搜索最大性能）。
• 将序列标准化（均值为0，方差为1）以实现跨方法的公平比较。
• 报告单变量和多变量结果，并区分在现实参数调优（默认）与乐观参数调优（Oracle）下的性能。

实验结果

研究问题

• RQ1 现有CPD算法在一个多注释者真实基准上表现如何？
• RQ2 当有多名标注者提供真值时，哪些评估指标可以稳健地比较CPD方法？
• RQ3 在单变量与多变量序列中，CPD方法在现实默认与最优（Oracle）参数设置下的比较如何？

主要发现

• 拥有37序列（42个含质量控制序列）和多注释人真值的真实CPD基准是可行且信息丰富的。
• 研究提供了一个实用的评估框架，包含基于聚类的覆盖度量和考虑多真值注释（M=5）的精确率/召回率F1度量。
• 在默认设置下，二进制分割(binseg)和AMOC在单变量数据上表现强劲，而bocpdms在多变量数据上领先（取决于度量）。
• 在Oracle设置下，bocpd在单变量和多变量数据的F1分数上达到最高；rfpop在单变量数据上用覆盖度量表现出色。
• 基线的零变化点方法在默认设置下往往优于许多方法，凸显在实际中的误报普遍存在。
• 标注者一致性通常较高（中位数约0.8–0.9，取决于度量），季节性模式对挑战最大。