[論文レビュー] A Nonparametric Approach for Multiple Change Point Analysis of Multivariate Data

David S. Matteson, Nicholas A. James|arXiv (Cornell University)|Jun 20, 2013

Statistical Methods and Inference参考文献 35被引用数 8

ひとこと要約

本稿では、既知の分布形を仮定せずに、多次元時系列における複数の変化点を非パラメトリックかつ一致する方法で検出する手法を提案する。U統計量と階層的クラスタリング（分割型および凝集型の両アルゴリズム）を用い、変化点の数と位置を推定する。最小限のモーメント仮定（α ∈ (0,2) におけるα次の絶対モーメントの存在）のもとで一貫性を達成する。

ABSTRACT

Change point analysis has applications in a wide variety of fields. The general problem concerns the inference of a change in distribution for a set of time-ordered observations. Sequential detection is an online version in which new data is continually arriving and is analyzed adaptively. We are concerned with the related, but distinct, offline version, in which retrospective analysis of an entire sequence is performed. For a set of multivariate observations of arbitrary dimension, we consider nonparametric estimation of both the number of change points and the positions at which they occur. We do not make any assumptions regarding the nature of the change in distribution or any distribution assumptions beyond the existence of the alpha-th absolute moment, for some alpha in (0,2). Estimation is based on hierarchical clustering and we propose both divisive and agglomerative algorithms. The divisive method is shown to provide consistent estimates of both the number and location of change points under standard regularity assumptions. We compare the proposed approach with competing methods in a simulation study. Methods from cluster analysis are applied to assess performance and to allow simple comparisons of location estimates, even when the estimated number differs. We conclude with applications in genetics, finance and spatio-temporal analysis.

研究の動機と目的

• 分布形が未知または任意の変化を伴う多次元データにおける、頑健で非パラメトリックな複数変化点検出手法の不足を補う。
• 変化点の数を事前に知る必要がある、または特定の分布族を仮定する必要がある既存のパラメトリックおよび非パラメトリック手法の限界を克服する。
• 変化点の数と位置を、追加の解析や数のチューニングを要せず、同時に推定する手法を開発する。
• 標準的正則性条件のもとで、変化点推定の理論的一致性を保証する。具体的には、ある α ∈ (0,2) に対してα次の絶対モーメントの存在を仮定する。

提案手法

• 観測値間のペアワイズユークリッド距離のU統計量に基づく非パラメトリックアプローチを提案し、分布形の変化を検出する。
• 分割型アルゴリズムを採用し、順列検定を用いて潜在的変化点の有意性を評価することで、データを再帰的に分割する。
• 凝集型アルゴリズムを用い、クラスタ内・クラスタ間距離に基づく適合度統計量を最大化することで最適なクラスタリングを同定する。
• 階層的クラスタリング手法を応用して変化点を推定する。分割型は統計的仮説検定に依存し、凝集型は適合度基準の最適化に依存する。
• 分割型手法は、標準的正則性条件のもとで、変化点の数と位置の両方について一貫性を有する。
• 計算量は O(kT²) であり、k は変化点の数、T は標本サイズである。既存手法と同等のスケーラビリティを有する。

実験結果

リサーチクエスチョン

• RQ1 特定のパラメトリック族を仮定せず、多次元データにおける複数の変化点の数と位置を一貫して推定できる非パラメトリック手法は存在するか？
• RQ2 α次の絶対モーメントの存在しか仮定しない状況下で、本手法は任意の分布形の変化を効果的に検出できるか？
• RQ3 精度、一貫性、計算効率の観点から、分割型と凝集型アルゴリズムの相対的性能はいかほどか？
• RQ4 本手法は、EMSイベントなどの実世界の時空間データにおいて、微細な変化や急激な変化を検出できるか？

主な発見

• 分割型アルゴリズムは、標準的正則性条件のもとで、変化点の数と位置の両方について一貫した推定を提供する。
• 本手法はトロントEMSデータにおいて31個の変化点を効果的に検出しており、主に夕方の時間帯に発生し、緊急事態の空間的分布における急激なシフトを示している。
• 凝集型アルゴリズムは、トロントEMSデータセットで31個の変化点を達成する適合度測度を実現し、空間密度推定値は市街地での持続的活動と周辺地域における動的な変化を示している。
• シミュレーションにおいて、既存手法を上回る性能を示し、特に既知のパラメトリック形を仮定しない、または変化点数を事前に知る必要のない状況での変化検出に優れている。
• 遺伝学、ファイナンス、時空間解析を含む多様な応用分野において、本手法は頑健であり、広範な適用可能性を示している。
• U統計量とクラスタベースの距離測定を用いることで、多次元密度推定の複雑さを回避し、実用性と計算効率が向上している。