[論文レビュー] Off-line detection of multiple change points with the Filtered Derivative with p-Value method

Pierre R. Bertrand, Mehdi Fhima+1 more|arXiv (Cornell University)|Mar 22, 2010

Complex Systems and Time Series Analysis参考文献 23被引用数 4

ひとこと要約

本稿では、未知の変化点数を有する時系列におけるオフライン複数変化点検出のため、p-値を用いたフィルタードリバーレイド（FDp-V）手法を提案する。この手法は、高速で線形時間計算量のフィルタードリバーレイドと、p-値に基づく誤検出除去ステップを組み合わせており、O(n)の時間および記憶領域計算量を達成しながら、シミュレートデータおよび実データ（心電図および金融時系列を含む）において高い検出精度を維持する。

ABSTRACT

This paper deals with off-line detection of change points for time series of independent observations, when the number of change points is unknown. We propose a sequential analysis like method with linear time and memory complexity. Our method is based at first step, on Filtered Derivative method which detects the right change points but also false ones. We improve Filtered Derivative method by adding a second step in which we compute the p-values associated to each potential change points. Then we eliminate as false alarms the points which have p-value smaller than a given critical level. Next, our method is compared with the Penalized Least Square Criterion procedure on simulated data sets. Eventually, we apply Filtered Derivative with p-Value method to segmentation of heartbeat time series, and detection of change points in the average daily volume of financial time series.

研究の動機と目的

• 変化点数が未知のスケールの時系列における複数変化点検出の課題に対処すること。
• 従来の手法（ペナルティ付き最小二乗基準（PLSC）や動的計画法など）の高いO(n²)の計算量を克服すること。
• 現代の高頻度・大容量データに適した線形時間および記憶領域計算量を持つ手法を開発すること。
• p-値による統計的有意性検定を統合することで、変化点検出における誤検出（偽陽性）を低減すること。
• 本手法をシミュレートデータおよび心臓拍動や金融時系列のセグメンテーションといった実世界の応用事例で検証すること。

提案手法

• O(n)の時間および記憶領域計算量を有するフィルタードリバーレイド法を適用し、潜在的な変化点を検出する。
• 帰無仮説（変化なし）の下で、各検出された潜在的変化点のp-値を計算する第2段階を実施する。
• 事前に定義された有意水準以下のp-値を有する点を削除することで、誤検出を除去する。
• 強力な近似理論および極値極限定理を活用し、検定統計量の漸近的分布的性質を導出する。
• フィルタードリバーレイドの標準化を用いて、異なるデータセグメント間での安定性および比較可能性を確保する。
• 本手法をシミュレートデータおよび実世界の時系列に適用し、ペナルティ付き最小二乗基準（PLSC）と結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 O(n)の時間および記憶領域計算量を達成しながら、大規模時系列において高い検出精度を維持できる変化点検出手法は可能か？
• RQ2 p-値しきい値による統合は、フィルタードリバーレイド法における誤検出の低減にどの程度有効か？
• RQ3 信号対雑音比が変化する条件下でも、FDp-V手法はシミュレートデータおよび実データにおいてPLSCを上回るか、同等の性能を示すか？
• RQ4 帰無仮説（変化点なし）の下で、フィルタードリバーレイドの漸近的分布は何か？
• RQ5 FDp-V手法は、高頻度の生理的および金融時系列における構造的変化を信頼性高く検出できるか？

主な発見

• FDp-V手法はO(n)の時間および記憶領域計算量を達成しており、n ≥ 100,000の観測値を持つ大規模データセットへのスケーラビリティを有する。
• 有意水準以下のp-値を有する変化点を削除することで、誤検出が効果的に低減され、検出の特異度が向上した。
• シミュレートデータにおいて、FDp-VはPLSCと同等の高い精度で変化点を検出できたが、計算コストは顕著に低減された。
• 標準化されたフィルタードリバーレイドの漸近的分布は、Gumbel極値分布に収束し、p-値計算の妥当性を裏付けた。
• 実世界の応用において、FDp-Vは24時間分の心電図データを正しくセグメンテーションし、日次金融取引量時系列における構造的変化を検出できた。
• 理論的結果により、帰無仮説の下でp-値に基づくフィルタリングステップが漸近的に有効であることが確認され、第一種の誤り率の制御が保証された。