[論文レビュー] Statistically and Computationally Efficient Change Point Localization in Regression Settings

Daren Wang, Zhao, Zifeng+2 more|arXiv (Cornell University)|Jun 26, 2019

Statistical Methods and Inference参考文献 45被引用数 23

ひとこと要約

本稿では、最適方向推定を介して高次元回帰の変化点検出を1次元の平均変化検出問題に変換する投影ベース手法、分散投影ワイドバイナリセグメンテーション（VPWBS）を提案する。VPWBSは、高次元設定下で、$O_p(1/n)$の最小最大最適局在化レートを達成し、以前の最高レート$O_p(1/\sqrt{n})$を著しく上回る。

ABSTRACT

Detecting when the underlying distribution changes for the observed time series is a fundamental problem arising in a broad spectrum of applications. In this paper, we study multiple change-point localization in the high-dimensional regression setting, which is particularly challenging as no direct observations of the parameter of interest is available. Specifically, we assume we observe $\{ x_t, y_t\}_{t=1}^n$ where $ \{ x_t\}_{t=1}^n $ are $p$-dimensional covariates, $\{y_t\}_{t=1}^n$ are the univariate responses satisfying $\mathbb{E}(y_t) = x_t^ op β_t^* ext{ for } 1\le t \le n $ and $\{β_t^*\}_{t=1}^n $ are the unobserved regression coefficients that change over time in a piecewise constant manner. We propose a novel projection-based algorithm, Variance Projected Wild Binary Segmentation~(VPWBS), which transforms the original (difficult) problem of change-point detection in $p$-dimensional regression to a simpler problem of change-point detection in mean of a one-dimensional time series. VPWBS is shown to achieve sharp localization rate $O_p(1/n)$ up to a log factor, a significant improvement from the best rate $O_p(1/\sqrt{n})$ known in the existing literature for multiple change-point localization in high-dimensional regression. Extensive numerical experiments are conducted to demonstrate the robust and favorable performance of VPWBS over two state-of-the-art algorithms, especially when the size of change in the regression coefficients $\{β_t^*\}_{t=1}^n $ is small.

研究の動機と目的

• 真の回帰係数$\beta_t^*$が観測不可であり、時系列的に区分的定数的に変化する高次元回帰における複数の変化点局在化の課題に対処すること。
• 高次元回帰モデルにおける構造的変化を検出する際、統計的最適性と計算効率の両方を達成する手法を開発すること。
• 推定された最適方向を用いて問題を1次元空間に投影することで、高次元変化点検出の複雑さを低減すること。
• 高次元かつ非漸近的設定下での局在化レートに対する理論的保証を確立すること。
• 特に変化サイズが小さい場合に、既存手法が困難に直面する状況でも、VPWBSの優れた経験的性能を示すこと。

提案手法

• VPWBSは、変化点検出のための信号対雑音比を最大化する最適1次元方向を推定するために分散に基づく投影を用いる。
• 同手法は、ランダムな区間上でワイドバイナリセグメンテーションを適用し、投影された1次元時系列におけるCUSUM統計量を用いて変化点を検出する。
• 初期の投影方向推定は、全データに対してグループLassoを適用することで得られ、高次元におけるスパarsityと安定性を確保する。
• アルゴリズムは、投影された平均における変化の有無をテストすることで時系列を繰り返しセグメント化し、誤検出を制御するためのリサンプリングベースのしきい値処理を用いる。
• 理論的分析により、投影された1次元問題が元の高次元モデルの統計的性質を継承でき、鋭い局在化が可能であることが示された。
• 計算効率は、ランダム区間の数を$M = (\log n)^2$に制限することで達成され、全体の複雑度は$O(n(\log n)^2 \cdot \text{GroupLasso}(n,p))$に低減される。

実験結果

リサーチクエスチョン

• RQ1 投影ベース手法は、高次元回帰の変化点検出において、$O_p(1/n)$の最小最大最適局在化レートを達成できるか？
• RQ2 VPWBSは、EBSA や WBSSGL といった最先端手法と比較して、局在化精度と計算コストの面でどのように異なるか？
• RQ3 回帰係数$\beta_t^*$の変化サイズが小さい場合、VPWBSの性能は依然として頑健であるか。これは、既存手法が困難に直面する領域である。
• RQ4 次元$p$と標本サイズ$n$が、VPWBSの計算スケーラビリティと統計的精度に与える影響は何か？
• RQ5 この投影フレームワークは、共分散やテンソルモデルなどの他の構造的変化点問題に一般化可能か？

主な発見

• VPWBSは、高次元回帰において$O_p(1/n)$の最小最大最適局在化レートを達成し、対数要因を除いて、以前の最高レート$O_p(1/\sqrt{n})$を著しく上回る。
• シミュレーションでは、変化サイズ$\kappa$が小さい場合を含め、VPWBSはEBSA や WBSSGL を一貫して上回り、すべての設定でより低いスケーリングされたハウスマウラー距離を達成する。
• VPWBSの平均実行時間は$n$および$p$に対して線形に増加し、スケーラビリティに優れる。一方、WBSSGLは$Lasso(n, np)$の複雑度のため、$n$が増加するに従いコストが著しく増加する。
• $p = 120$という高次元設定下でも、VPWBSはすべての手法の中で最小の平均スケーリングハウスマウラー距離を達成し、高い精度を維持する。
• 変化サイズ$\kappa$、次元$p$、標本サイズ$n$、スパarsity$s$の多様なシミュレーション設定において、VPWBSは一貫した性能向上を示し、競合手法を上回る。
• 理論的分析により、投影ベース変換が変化点検出の統計的パワーを保持でき、弱い信号条件下でも鋭い局在化が可能であることが確認された。