[論文レビュー] Optimal Covariance Change Point Localization in High Dimension

Daren Wang, Yi Yu+1 more|arXiv (Cornell University)|Dec 28, 2017

Statistical Methods and Inference参考文献 39被引用数 25

ひとこと要約

本稿では、二つのアルゴリズムであるオペレータノルムに基づく二分法（BSOP）と独立射影を通じたワイルド二分法（WBSIP）を用いて、高次元共分散行列における変化点の検出と局在化のためのミニマックス最適フレームワークを提案する。WBSIPは対数要因を除きミニマックス最適な局在化レートを達成し、信号対雑音比、次元、変化点間隔に応じた検出問題におけるフェーズ遷移を確立する。

ABSTRACT

We study the problem of change point detection for covariance matrices in high dimensions. We assume that we observe a sequence {X_i}_{i=1,...,n} of independent and centered p-dimensional sub-Gaussian random vectors whose covariance matrices are piecewise constant. Our task is to recover with high accuracy the number and locations of the change points, which are assumed unknown. Our generic model setting allows for all the model parameters to change with n, including the dimension p, the minimal spacing between consecutive change points, the magnitude of smallest change size and the maximal Orlicz- 2 norm of the covariance matrices of the sample points. Without assuming any additional structural assumption, such as low rank matrices or having sparse principle components, we set up a general framework and a benchmark result for the covariance change point detection problem. We introduce two procedures, one based on the binary segmentation algorithm (e.g. Vostrikova, 1981) and the other on its extension known as wild binary segmentation of Fryzlewicz (2014), and demonstrate that, under suitable conditions, both procedures are able to consistently es- timate the number and locations of change points. Our second algorithm, called Wild Binary Segmentation through Independent Projection (WBSIP), is shown to be optimal in the sense of allowing for the minimax scaling in all the relevant parameters. Our minimax analysis reveals a phase transition effect based on the problem of change point localization. To the best of our knowledge, this type of results has not been established elsewhere in the high-dimensional change point detection literature.

研究の動機と目的

• 次元数 $ p $、標本サイズ $ n $、最小間隔 $ \Delta $、最小変化量 $ \kappa $ がすべて $ n $ に従って増加する高次元共分散行列における変化点の検出と正確な局在化の課題に対処すること。
• 共分散行列に低ランクまたはスパース構造を仮定しない、高次元共分散変化点検出の一般枠組みを構築すること。
• ミニマックス下界を確立し、WBSIPが弱いサブガウス型仮定の下でほぼミニマックス最適な局在化レートを達成することを示すこと。
• $ \kappa/B^2 $、$ \Delta $、$ p $、$ n $ の相互作用に基づいた検出問題におけるフェーズ遷移行動を分析すること。ここで $ B $ は共分散行列のオーリツ・$ \psi_2 $ ノルムである。

提案手法

• オペレータノルムに基づくCUSUM統計量を用いた、共分散変化点検出に適応した二分法アルゴリズムであるBSOPを提案する。
• 高次元データをランダムな独立方向に射影することで変化点を検出する、ワイルド二分法の新規拡張であるWBSIPを導入する。
• 独立射影を用いることで高次元データの依存性を分離し、鋭い集中不等式を実現し、検出力の向上を図る。
• 標本共分散行列に基づくCUSUM型検定統計量を用いて、時間経過に伴う共分散構造の変化を検出する。
• 射影方向と検定統計量の独立性を保証するためのデータ分割技術を適用し、理論的解析を簡略化する。
• サブガウス型仮定の下で、変化点局在化の非漸近的リスクバウンドを導出し、$ \kappa $、$ \Delta $、$ p $、$ n $ への明示的依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 次元数 $ p $、$ \Delta $、$ \kappa $、$ B $ がすべて $ n $ に従って増加する高次元設定において、共分散変化点局在化のミニマックス収束レートは何か？
• RQ2 独立射影を通じたワイルド二分法（WBSIP）は、高次元共分散変化点検出においてミニマックス最適な局在化レートを達成できるか？
• RQ3 信号対雑音比 $ \kappa/B^2 $ は、高次元共分散行列における変化点の検出可能性と局在化精度にどのように影響するか？
• RQ4 $ \kappa $、$ \Delta $、$ p $、$ n $ の相互作用に基づいて、高次元共分散変化点検出問題にどのようなフェーズ遷移行動が現れるか？
• RQ5 共分散行列に低ランクまたはスパース構造を仮定しない状況でも、一貫した変化点検出が可能か？

主な発見

• WBSIPアルゴリズムは、$ \kappa $、$ \Delta $、$ p $、$ n $ のすべての関連パラメータに関して、対数要因を除きミニマックス最適な局在化レートを達成する。
• 検出問題にはフェーズ遷移が存在する：$ \Delta \kappa^2 \gtrsim p \log n \cdot \sigma^4 $ を満たす場合にのみ、一貫した局在化が可能である。ここで $ \sigma^2 $ は分散プロキシである。
• 局在化誤差のミニマックス下界は $ \Omega(\sigma^4 / \kappa^2) $ であり、信号対雑音比 $ \kappa/B^2 $ が検出可能性の主要要因であることを示している。
• BSOPは変化点の一貫した推定を提供するが、$ p $ が $ n $ と共に増加する際には局在化レートが劣化し、標準的二分法の既知の限界を確認する。
• 理論的解析により、問題の難易度は次元 $ p $ およびオーリツ-\psi_2 ノルム $ B $ が高くなるほど増加し、$ \Delta $ および $ \kappa $ が高くなるほど低下することが判明。$ \kappa/B^2 $ は有効な信号対雑音比として機能する。
• このフレームワークは高次元成長に強く、低ランクまたはスパース共分散行列を仮定しないため、広範に適用可能である。