[論文レビュー] An Evaluation of Change Point Detection Algorithms

Gerrit J. J. van den Burg, Christopher K. I. Williams|arXiv (Cornell University)|Mar 13, 2020

Mental Health Research Topics被引用数 87

ひとこと要約

この論文は、変更点検出アルゴリズムを評価するための実世界の人手注釈付きベンチマークデータセットを37の実データ系列（品質管理系列を含む42）として作成し、複数の真値注釈に対する評価指標を定義し、DefaultとOracle設定の下で14のCPD手法をベンチマークします。

ABSTRACT

Change point detection is an important part of time series analysis, as the presence of a change point indicates an abrupt and significant change in the data generating process. While many algorithms for change point detection have been proposed, comparatively little attention has been paid to evaluating their performance on real-world time series. Algorithms are typically evaluated on simulated data and a small number of commonly-used series with unreliable ground truth. Clearly this does not provide sufficient insight into the comparative performance of these algorithms. Therefore, instead of developing yet another change point detection method, we consider it vastly more important to properly evaluate existing algorithms on real-world data. To achieve this, we present a data set specifically designed for the evaluation of change point detection algorithms that consists of 37 time series from various application domains. Each series was annotated by five human annotators to provide ground truth on the presence and location of change points. We analyze the consistency of the human annotators, and describe evaluation metrics that can be used to measure algorithm performance in the presence of multiple ground truth annotations. Next, we present a benchmark study where 14 algorithms are evaluated on each of the time series in the data set. Our aim is that this data set will serve as a proving ground in the development of novel change point detection algorithms.

研究の動機と目的

• 現実的なベンチマークデータセットを提供して、実世界の時系列データに対して変更点検出アルゴリズムを評価する。
• 複数の人間の真値注釈を考慮した評価指標を開発する。
• 既存のCPD手法の広範なセットをベンチマークして、実データ上の強み、弱み、故障モードを特定する。

提案手法

• 5人のラベラーによって各系列に真値の変更点を注釈付けした、ドメイン横断的な実世界の時系列データセット（37系列、品質管理を含めて42系列）を組み立てる。
• 複数の真値注釈を扱える評価指標を開発する。クラスタリング風のカバーメトリックと、誤差マージン（M=5）を用いた精度/再現率を含む。
• 注釈者の一致を評価するための注釈ツールと自動一貫性チェックを提供する。
• デフォルト設定（パッケージデフォルトを使用）とオラクル設定（グリッド検索による最大性能）という2つの実験設定で14のCPDアルゴリズムを評価する。
• 系列を標準化する（平均ゼロ、分散1）ことで、手法間の公正な比較を可能にする。
• 単変量および多変量の結果を報告し、現実的な（Default）設定と楽観的な（Oracle）パラメータ調整の下での性能を区別する。

実験結果

リサーチクエスチョン

• RQ1 多様で実世界のベンチマークに対して、複数の人間の真値注釈がある場合、既存のCPDアルゴリズムはどれだけうまく機能するか？
• RQ2 複数の注釈者が真値を提供する場合、CPD手法を堅牢に比較できる評価指標は何か？
• RQ3 現実的なデフォルト設定と理想的な（オラクル）パラメータ設定の下で、単変量および多変量系列を横断してCPD手法はどのように比較されるか？

主な発見

Method	Default Cover	Default F1	Oracle Cover	Oracle F1
amoc	0.668	0.653	0.717	0.773
binseg	0.672	0.698	0.774	0.873
bocpd	0.594	0.662	0.783	0.886
bocpdms	0.590	0.495	0.753	0.659
cpnp	0.488	0.586	0.759	0.845
ecp	0.470	0.560	0.693	0.773
kcpa	0.069	0.124	0.608	0.686
pelt	0.652	0.674	0.772	0.864
prophet	0.522	0.472	0.554	0.502
rbocpdms	0.561	0.397	0.717	0.677
rfpop	0.341	0.476	0.784	0.870
segneigh	0.642	0.635	0.777	0.875
wbs	0.264	0.365	0.366	0.482
zero	0.566	0.645	0.566	0.645

• 37系列（品質管理系列を含む42系列）と複数注釈者の真値が実現可能で有益であることが示される。
• 複数の真値注釈を考慮したクラスタリングベースのカバーメトリックと精度/再現率F1を用いた実用的な評価フレームワークを提供する。
• デフォルト設定では、二項セグメンテーション（binseg）とAMOCが単変量データで高い性能を示し、multivariateデータではbocpdmsがメトリクス次第でトップに立つ。
• Oracle設定では、F1スコアで単変量・多変量データの両方でbocpdが最高性能を達成；rfpopはカバーメトリックで単変量データに強い性能を示す。
• デフォルト設定の下では、ベースラインのゼロ変更点法が多くの手法を上回ることが多く、実務で偽陽性が多いことを示唆する。
• アノテータの一致は一般に高く（メディアンは指標に依存して約0.8–0.9）、季節パターンが最大の課題をもたらす。