[論文レビュー] Asymptotic Distribution-Free Change-Point Detection for Multivariate and non-Euclidean Data

Lynna Chu, Hao Chen|arXiv (Cornell University)|Jul 1, 2017

Statistical Methods and Inference参考文献 16被引用数 3

ひとこと要約

本稿では、多次元および非ユークリッドデータ系列における変化点を検出するための、3つの新しいグラフベースで非パラメトリックな検定統計量を提案する。類似度情報をエッジカウント過程を通じて活用し、漸近的に分布フリーなp値を導出することで、ChenとZhang (2015) よりも検出力と推定精度が向上する。特に中央から離れた変化やスケールシフトに対して顕著な改善が得られる。

ABSTRACT

We consider the testing and estimation of change-points, locations where the distribution abruptly changes, in a sequence of multivariate or non-Euclidean observations. We study a nonparametric framework that utilizes similarity information among observations, which can be applied to various data types as long as an informative similarity measure on the sample space can be defined. The existing approach along this line has low power and/or biased estimates for change-points under some common scenarios. We address these problems by considering new tests based on similarity information. Simulation studies show that the new approaches exhibit substantial improvements in detecting and estimating change-points. In addition, under some mild conditions, the new test statistics are asymptotically distribution free under the null hypothesis of no change. Analytic p-value approximations to the significance of the new test statistics for the single change-point alternative and changed interval alternative are derived, making the new approaches easy off-the-shelf tools for large datasets. The new approaches are illustrated in an analysis of New York taxi data.

研究の動機と目的

• スケール変化やオフセンターチェンジの下で低検出力とバイアス推定を示す既存の非パラメトリック変化点検出法の限界を克服すること。
• 意味のある類似度測度が存在する限り、任意のデータタイプに適用可能な柔軟な非パラメトリックフレームワークを構築すること。
• 無作為化を伴わない解析的p値近似が可能となるよう、帰無仮説の下で漸近的に分布フリーな性質を保証すること。
• 位置シフトやスケールシフトを含む多様な代替仮説において、変化点位置の推定精度を向上させること。
• 再サンプリングを回避する解析的p値近似により、大規模データセットへのスケーラブルな適用を可能とすること。

提案手法

• グラフベースの類似度測度に基づき、重み付きエッジカウント、一般化エッジカウント、およびマックスタイプエッジカウント統計量の3つの新しい検定統計量を提案する。
• 位置シフトを検出するための $ Z_w(t) $ とスケールシフトを検出するための $ Z_{\text{diff}}(t) $ の2つの主要プロセスを定義し、類似度グラフ内のエッジカウントを用いる。
• 系列長でプロセスを標準化して $ Z_w([\nu]) $ と $ Z_{\text{diff}}([\nu]) $ を得る。これはややいなごうなグラフ条件のもとで、独立したガウス過程に収束する。
• 極限ガウス過程を用いて解析的 $ p $-値近似を導出し、精度向上のための歪度補正を施す。
• 大規模データセットへの即時利用を可能とするRパッケージ gSeg として実装する。
• 独立同一分布の仮定が満たされない場合に備え、局所的依存性に対応するためのブロックリサンプリングをフレームワークに拡張する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックで類似度に基づくアプローチは、既存の手法よりも多次元および非ユークリッドデータにおける変化点を高い検出力で検出可能か？
• RQ2 変化点が系列の中央から離れている場合に、検定統計量をどのように設計すれば高い検出力を維持できるか？
• RQ3 一般条件下で、グラフベースの検定統計量に対して漸近的に分布フリーな性質を確立できるか？
• RQ4 歪度補正を施したp値近似は、単純な漸近的近似に比べてどの程度精度が向上するか？
• RQ5 パラメトリック仮定が成り立たない場合でも、スケールシフトや区間変化を検出する際に、新しい統計量はどの程度の性能を示すか？

主な発見

• 変化点が系列の中心から離れている場合、重み付きエッジカウント統計量は位置シフトの検出力が顕著に向上する。
• 歪度補正を施したp値近似と組み合わせたマックスタイプエッジカウント統計量は、最も正確なp値近似を提供し、一般的な用途に推奨される。
• 理論的漸近的分布フリー性の条件がわずかに満たされない場合でも、解析的p値近似は依然として頑健である。
• 実世界のニューヨークタクシーのデータにおいて、新しい手法は意味のある変化点を検出でき、サンクスギビングやクリスマス週にかけての移動活動の増加を特定した。
• シミュレーション結果から、スケール代替仮説においてChenとZhang (2015) よりも顕著な検出力の向上が得られ、変化点位置の推定バイアスも低減された。
• 検定統計量の極限ガウス過程は、元の観測分布に依存しない分布フリーな性質を持ち、普遍的なp値近似を可能にする。