[論文レビュー] High-dimensional change point estimation via sparse projection

Tengyao Wang, Richard J. Samworth|arXiv (Cornell University)|Jun 20, 2016

Statistical Methods and Inference参考文献 42被引用数 16

ひとこと要約

本稿では、平均変化が座標のスパース部分集合に現れる高次元時系列における変動点を検出するための新規2段階手法inspectを提案する。まず、CUSUM変換されたデータ行列におけるkスパースな主左特異ベクトル問題の凸緩和を用いて最適な射影方向を特定し、次に射影された系列に対して単変量の変動点検出を適用することで、高次元漸近的条件下で変動点数およびその位置推定に対して強固な理論的保証を達成する。

ABSTRACT

Changepoints are a very common feature of Big Data that arrive in the form of a data stream. In this paper, we study high-dimensional time series in which, at certain time points, the mean structure changes in a sparse subset of the coordinates. The challenge is to borrow strength across the coordinates in order to detect smaller changes than could be observed in any individual component series. We propose a two-stage procedure called 'inspect' for estimation of the changepoints: first, we argue that a good projection direction can be obtained as the leading left singular vector of the matrix that solves a convex optimisation problem derived from the CUSUM transformation of the time series. We then apply an existing univariate changepoint estimation algorithm to the projected series. Our theory provides strong guarantees on both the number of estimated changepoints and the rates of convergence of their locations, and our numerical studies validate its highly competitive empirical performance for a wide range of data generating mechanisms. Software implementing the methodology is available in the R package 'InspectChangepoint'.

研究の動機と目的

• 従来の単変量手法がパワーを欠く高次元時系列におけるスパースな平均変化の検出という課題に対処すること。
• 座標間で強みを借りることで、そうでなければ検出できない小さな変動点を検出できる手法の開発。
• 推定された変動点数およびその位置の収束速度に関する理論的保証の提供。
• 効率的なアルゴリズムと公開済みのRパッケージInspectChangepointを通じた実用的応用の実現。
• 再帰的な方法でWBS（Wild Binary Segmentation）を用いて複数の変動点を扱うフレームワークの拡張。

提案手法

• 高次元時系列にCUSUM変換を適用し、平均からの累積的偏差を捉える行列を構築する。
• kスパースな主左特異ベクトル問題の凸緩和を定式化し、平均変化ベクトルと整合する射影方向を推定する。
• 元のデータを推定された方向に射影することで次元削減を実現しつつ、変動点信号を保持する。
• 射影された系列に対して既存の単変量変動点検出アルゴリズム（例：CUSUMベース）を適用し、変動点を特定する。
• 残差系列に対して単一変動点手順を再帰的に適用することで、WBSを用いて複数の変動点を検出する。
• 特異ベクトルの摂動理論および集中不等式の理論的結果を活用し、一貫性および収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 スパース特異ベクトル問題の凸緩和は、高次元変動点検出における射影方向の一貫性推定を可能にするか？
• RQ2 推定された方向に高次元データを射影することで、スパース座標における小さな平均変化の検出パワーが向上するか？
• RQ3 推定された変動点数およびその位置の収束速度に関する理論的保証は何か？
• RQ4 弱相関や自己回帰構造を示すような時系列依存性がある場合、この手法はどのように動作するか？
• RQ5 理論的一貫性が保証される高次元設定において、この手法は複数の変動点に拡張可能か？

主な発見

• 高次元漸近的条件下で、変動点の数および位置の両方について一貫性のある推定が達成され、変動点位置推定の収束速度が確立された。
• 理論的解析により、推定された射影方向がスパarsityおよび信号強度に依存するレートで真の平均変化方向に収束することが示された。
• 単一変動点の場合、信号対雑音比がスパarsityおよび次元と関連する閾値を超えると、最適な検出パワーが達成される。
• 数値的実験により、独立、弱相関、相関のある誤差構造を含む多様なデータ生成メカニズムにおいて、競争的な経験的性能が示された。
• 変動点が発生する座標の小さな割合しか存在しない場合でも、高い検出パワーを維持し、単変量およびナイーブな多変量手法を上回った。
• 理論的保証は空間的依存性を持つデータに対しても拡張可能であり、自己回帰的および等相関構造を含む共分散構造下での推定誤差に明示的なバウンドが得られた。