[論文レビュー] Univariate Mean Change Point Detection: Penalization, CUSUM and Optimality

Daren Wang, Yi Yu+1 more|arXiv (Cornell University)|Oct 22, 2018

Statistical Methods and Inference参考文献 38被引用数 9

ひとこと要約

本稿は、ノイズ分散（$\sigma^2$）、最小間隔（$\Delta$）、ジャンプサイズ（$\kappa$）が変化する条件下における一変量平均チェンクポイント検出のミニマックス最適な条件を確立する。$\kappa\sqrt{\Delta}/\sigma < \sqrt{\log n}$ である場合、一貫した局在化は不可能であると示すが、この比が $\sqrt\log n$ よりも速やかに発散する場合、$\ell_0$-正則化最小二乗推定量とワイルドバイナリセグメンテーションの両方が、$\sigma^2 \log n / \kappa^2$ の最適な局在化レートを達成する。これは $\log n$ 要因を除いてミニマックス最適である。

ABSTRACT

The problem of univariate mean change point detection and localization based on a sequence of $n$ independent observations with piecewise constant means has been intensively studied for more than half century, and serves as a blueprint for change point problems in more complex settings. We provide a complete characterization of this classical problem in a general framework in which the upper bound $σ^2$ on the noise variance, the minimal spacing $Δ$ between two consecutive change points and the minimal magnitude $κ$ of the changes, are allowed to vary with $n$. We first show that consistent localization of the change points, when the signal-to-noise ratio $\frac{κ\sqrtΔ}σ &lt; \sqrt{\log(n)}$, is impossible. In contrast, when $\frac{κ\sqrtΔ}σ$ diverges with $n$ at the rate of at least $\sqrt{\log(n)}$, we demonstrate that two computationally-efficient change point estimators, one based on the solution to an $\ell_0$-penalized least squares problem and the other on the popular wild binary segmentation algorithm, are both consistent and achieve a localization rate of the order $\frac{σ^2}{κ^2} \log(n)$. We further show that such rate is minimax optimal, up to a $\log(n)$ term.

研究の動機と目的

• ノイズ分散（$\\sigma^2$）、最小間隔（$\\Delta$）、ジャンプサイズ（$\\kappa$）が標本サイズ $n$ に従って変化するときの、一変量平均チェンクポイント検出の統計的困難さを特定すること。
• 信号対ノイズ比 $\\kappa\sqrt{\\Delta}/\sigma$ によって制御されるフェーズ転移によって、一貫したチェンクポイント局在化の根本的限界を同定すること。
• 与えられたモデル下での任意の推定量に対する局在化速度のミニマックス下界を確立すること。
• $\ell_0$-正則化最小二乗推定量とワイルドバイナリセグメンテーションという、計算的に効率的な2つの手法が、このミニマックス下界を $\log n$ 要因を除いて達成することを示すこと。

提案手法

• 分析は、$\sigma^2$、$\Delta$、$\kappa$ が $n$ に従って変化することを許容する一般的な枠組みにおいて行われ、現実の高次元的・ビッグデータ環境をモデル化する。
• 問題の困難さの主要な指標として、二標本 $t$-統計量に類似した信号対ノイズ比 $\kappa\sqrt{\Delta}/\sigma$ を用いる。
• Fanoの不等式とメトリックエントロピーの議論を用いて、2つの複合仮説の間の検定問題を構築することで、局在化速度のミニマックス下界を導出する。
• $\ell_0$-正則化最小二乗推定量は、非漸近的オラクル不等式を用いて分析され、信号対ノイズ条件の下で最適な速度を達成することが示される。
• ワイルドバイナリセグメンテーションは、チェンクポイントを逃す確率を制御し、集中不等式を用いて誤検出数の上限を評価することで、同じ速度を達成することが示される。
• 射影作用素、サブガウス型尾部バウンド、および区分的定数平均モデルにおける推定誤差の $\ell_2$-ノルムのバウンドに関する一連の補題を通じて、理論的結果を支援する。

実験結果

リサーチクエスチョン

• RQ1 一変量平均チェンクポイント検出において、どのような条件下でチェンクポイントの一貫した局在化が不可能となるか？
• RQ2 変動する $\sigma^2$、$\Delta$、$\kappa$ が存在する状況下で、任意の推定量に対する局在化速度の根本的下界は何か？
• RQ3 計算的に効率的な手法、たとえば $\ell_0$-正則化最小二乗推定量やワイルドバイナリセグメンテーションは、ミニマックス最適な局在化速度に到達できるか？
• RQ4 信号対ノイズ比 $\kappa\sqrt{\Delta}/\sigma$ は、一貫した局在化の不可能性と達成可能性の間のフェーズ転移をどのように制御するか？
• RQ5 一変量平均チェンクポイント検出において、局在化速度 $\sigma^2 \log n / \kappa^2$ は、対数要因を除いてミニマックス最適か？

主な発見

• 信号対ノイズ比 $\kappa\sqrt{\Delta}/\sigma < \sqrt{\log n}$ である場合、一貫したチェンクポイント局在化は不可能であり、鋭いフェーズ転移が確立される。
• $\kappa\sqrt{\Delta}/\sigma$ が $\sqrt{\log n}$ よりも速やかに発散する場合、局在化速度のミニマックス下界は $\sigma^2 \log n / \kappa^2$ である。
• $\ell_0$-正則化最小二乗推定量は、同じ信号対ノイズ条件の下で、局在化速度 $\sigma^2 \log n / \kappa^2$ を達成する。
• ワイルドバイナリセグメンテーションも同様に、局在化速度 $\sigma^2 \log n / \kappa^2$ を達成する。計算的効率性を損なわず、統計的最適性を維持することが示される。
• 局在化速度 $\sigma^2 \log n / \kappa^2$ は、$\log n$ 要因を除いてミニマックス最適であり、理論的バウンドのタイトネスが確認される。
• サブガウス型ノイズ（$\|Y_i\|_{\psi_2} \leq \sigma$）のもとで分析が成り立つため、ガウス分布の仮定を越えて一般化されている。