[論文レビュー] Intelligent sampling for multiple change-points in exceedingly long time series with rate guarantees

Zhiyuan Lu, Moulinath Banerjee+1 more|arXiv (Cornell University)|Oct 20, 2017

Statistical Methods and Inference参考文献 26被引用数 8

ひとこと要約

本稿では、極めて長い時系列における複数の変化点を推定するための二段階手法「インテリジェントサンプリング」を提案する。まずスパースなサブサンプルを用いて候補領域を特定し、その後その周辺で密なサンプリングを実施して推定値を精緻化する。望ましい条件下では、計算複雑性が$\sqrt{N}$にまで低下し、フルデータ解析と同等の漸近的効率性を達成する。これにより、大規模データセットにおけるスケーラブルな推論が可能になる。

ABSTRACT

Change point estimation in its offline version is traditionally performed by optimizing over the data set of interest, by considering each data point as the true location parameter and computing a data fit criterion. Subsequently, the data point that minimizes the criterion is declared as the change point estimate. For estimating multiple change points, the procedures are analogous in spirit, but significantly more involved in execution. Since change-points are local discontinuities, only data points close to the actual change point provide useful information for estimation, while data points far away are superfluous, to the point where using only a few points close to the true parameter is just as precise as using the full data set. Leveraging this "locality principle", we introduce a two-stage procedure for the problem at hand, which in the 1st stage uses a sparse subsample to obtain pilot estimates of the underlying change points, and in the 2nd stage refines these estimates by sampling densely in appropriately defined neighborhoods around them. We establish that this method achieves the same rate of convergence and even virtually the same asymptotic distribution as the analysis of the full data, while reducing computational complexity to O(N^0.5) time (N being the length of data set), as opposed to at least O(N) time for all current procedures, making it promising for the analysis on exceedingly long data sets with adequately spaced out change points. The main results are established under a signal plus noise model with independent and identically distributed error terms, but extensions to dependent data settings, as well as multiple stage (>2) procedures are also provided. The performance of our procedure -- which is coined "intelligent sampling" -- is illustrated on both synthetic and real Internet data streams.

研究の動機と目的

• 極めて長い時系列における従来のオフライン変化点検出の計算不能性に対処する。標準的手法は$O(N)$以上でスケーリングする。
• 局所性の原則（真の変化点の近傍でのみ情報が得られる）を活用し、推定精度を損なわずに計算負荷を軽減する。
• フルデータ解析と同等の収束速度および漸近的分布を達成する二段階サンプリング手順を開発する。
• 独立同一分布の誤差を伴う信号＋ノイズモデル下で、複数の変化点の明示的な共通信頼区間を構築する。
• 従属データ構造およびマルチステージ手順への拡張を図り、実用的応用性を高める。

提案手法

• 初期計算負荷を軽減するため、粗い解像度の第一段階でスパースサブサンプリングを用いて変化点のパイLOT推定値を特定する。
• 理論的境界に基づき、変化点間隔および信号強度を考慮してパイLOT推定値の周囲に近接領域を定義する。
• 第二段階で、これらの局所的領域内で密なサンプリングを実施し、局所的変化点推定値を精緻化する。
• 動的計画法またはセグメンテーションアルゴリズム（例：BinSeg や WBinSeg）を局所的区間で用いて精度を向上させる。
• 第一段階と第二段階のコストのバランスを最適化するため、サンプリング解像度パラメータ$\gamma$を最適化する。
• 真の変化点数$J$の高確率回復を保証するため、ランダム区間数$M_n$およびその幅に関する理論的境界を用いる。

実験結果

リサーチクエスチョン

• RQ1 二段階サンプリング戦略は、計算コストを著しく削減しながらも、フルデータ解析と同等の統計的効率性を達成できるか？
• RQ2 計算時間の合計を最小化するための、第一段階と第二段階におけるサンプリング密度の最適なトレードオフは何か？
• RQ3 提案フレームワーク下で、複数の変化点の共通信頼区間を明示的に構築する方法は何か？
• RQ4 一時的な信号バーストの存在など、モデルの誤特定に対して、この手法はどの程度ロバストか？
• RQ5 この手法は、従属データ構造およびマルチステージサンプリング手順に拡張可能か？

主な発見

• 提案されたインテリジェントサンプリング手法は、フルデータ解析と同等の収束速度および漸近的分布を達成しており、統計的効率性が保たれている。
• 望ましい条件下では、合計計算複雑性が$O(N^{\gamma_{\text{min}} + 2\Xi}\log N)$にまで低下し、$\gamma_{\text{min}} = \max\left\{\frac{1-2\Xi+\Lambda}{2}, \Xi + \eta\right\}$となる。これにより、$\sqrt{N}$スケールの計算が可能になる。
• 真の変化点数$J$を正しく回復する確率は$1 - C N^{-1}$以上であり、高確率で$\mathbb{P}(\hat{J} = J) \geq 1 - C(N^*)^{-1}$が成立する。
• シミュレーションでは、第二段階の区間幅が固定されているため、第一段階でBinSegの代わりにWBinSegを使用しても、精度に優位性は得られないが、計算時間が著しく増加する（例：1000回試行で約293秒対約7秒）。
• 第一段階でBinSegかWBinSegのどちらを使用しても、第二段階のリファインメントが同一である限り、性能にほとんど差がなく、セグメンテーションアルゴリズムの選択に対してロバストであることが確認された。
• 最適な$\gamma$の選択は、スケーリングパrameter$\Xi$と$\Lambda$に依存し、$\Xi < 1/9$、$\Xi \in [1/9, 1/7)$、$\Xi \in [1/7, 1/3)$の3つの異なるスケーリング領域が特定され、それぞれ異なる計算時間の上限が得られる。