[论文解读] Univariate Mean Change Point Detection: Penalization, CUSUM and Optimality

Daren Wang, Yi Yu+1 more|arXiv (Cornell University)|Oct 22, 2018

Statistical Methods and Inference参考文献 38被引用 9

一句话总结

本文在噪声方差（$ olimits\sigma^2$）、最小间距（$ olimits\Delta$）和跳跃大小（$ olimits\kappa$）变化的条件下，建立了单变量均值变化点检测的极小极大最优条件。证明了当 $ olimits\kappa\sqrt{\Delta}/\sigma < \sqrt{\log n}$ 时，一致定位是不可能的；但当该比值至少以 $ olimits\sqrt{\log n}$ 的速度发散时，$ olimits\ell_0$-惩罚最小二乘估计器与野生二分法（wild binary segmentation）均可实现最优定位速率 $ olimits\sigma^2 \log n / \kappa^2$，该速率在 $ olimits\log n$ 因子范围内达到极小极大最优。

ABSTRACT

The problem of univariate mean change point detection and localization based on a sequence of $n$ independent observations with piecewise constant means has been intensively studied for more than half century, and serves as a blueprint for change point problems in more complex settings. We provide a complete characterization of this classical problem in a general framework in which the upper bound $σ^2$ on the noise variance, the minimal spacing $Δ$ between two consecutive change points and the minimal magnitude $κ$ of the changes, are allowed to vary with $n$. We first show that consistent localization of the change points, when the signal-to-noise ratio $\frac{κ\sqrtΔ}σ &lt; \sqrt{\log(n)}$, is impossible. In contrast, when $\frac{κ\sqrtΔ}σ$ diverges with $n$ at the rate of at least $\sqrt{\log(n)}$, we demonstrate that two computationally-efficient change point estimators, one based on the solution to an $\ell_0$-penalized least squares problem and the other on the popular wild binary segmentation algorithm, are both consistent and achieve a localization rate of the order $\frac{σ^2}{κ^2} \log(n)$. We further show that such rate is minimax optimal, up to a $\log(n)$ term.

研究动机与目标

• 刻画当噪声方差（$\\sigma^2$）、最小间距（$\\Delta$）和跳跃大小（$\\kappa$）随样本量 $n$ 变化时，单变量均值变化点检测的统计难度。
• 通过识别由信噪比 $\\kappa\sqrt{\\Delta}/\sigma$ 决定的相变现象，确定一致变化点定位的根本极限。
• 在给定模型下，建立任何估计器定位速率的极小极大下界。
• 证明两种计算高效的算法——$ olimits\ell_0$-惩罚最小二乘估计器与野生二分法——可达到该极小极大下界，仅相差 $ olimits\log n$ 因子。

提出的方法

• 分析在一般框架下进行，允许 $\\sigma^2$、$\\Delta$ 和 $\\kappa$ 随 $n$ 变化，以建模高维与大数据场景。
• 以信噪比 $\\kappa\sqrt{\\Delta}/\sigma$ 作为问题难度的关键度量，类似于两样本 $t$-统计量。
• 通过在两个复合假设之间构造检验问题，利用 Fano 不等式与度量熵论证，推导出定位速率的极小极大下界。
• $ olimits\ell_0$-惩罚最小二乘估计器通过非渐近的 oracle 不等式进行分析，证明在信噪比条件下可实现最优速率。
• 通过控制遗漏变化点的概率并利用集中不等式界定虚假发现数，证明野生二分法可实现相同速率。
• 理论结果由一系列关于投影算子、次高斯尾部界以及分段常数均值模型中估计误差 $ olimits\ell_2$-范数的界所支持。

实验结果

研究问题

• RQ1 在单变量均值变化点检测中，何时一致定位变化点是不可能的？
• RQ2 在 $ olimits\sigma^2$、$ olimits\Delta$ 和 $ olimits\kappa$ 变化的情况下，任何估计器的定位速率的根本下界是什么？
• RQ3 计算高效的算法如 $ olimits\ell_0$-惩罚最小二乘估计器与野生二分法能否实现极小极大最优的定位速率？
• RQ4 信噪比 $ olimits\kappa\sqrt{\Delta}/\sigma$ 如何决定一致定位的不可能性与可实现性之间的相变？
• RQ5 对于单变量均值变化点检测，定位速率 $ olimits\sigma^2 \log n / \kappa^2$ 是否在对数因子范围内达到极小极大最优？

主要发现

• 当 $ olimits\kappa\sqrt{\Delta}/\sigma < \sqrt{\log n}$ 时，一致变化点定位不可能实现，确立了尖锐的相变。
• 当 $ olimits\kappa\sqrt{\Delta}/\sigma$ 至少以 $ olimits\sqrt{\log n}$ 的速度发散时，定位速率的极小极大下界为 $ olimits\sigma^2 \log n / \kappa^2$。
• $ olimits\ell_0$-惩罚最小二乘估计器在相同信噪比条件下可实现定位速率 $ olimits\sigma^2 \log n / \kappa^2$。
• 野生二分法同样实现相同的定位速率 $ olimits\sigma^2 \log n / \kappa^2$，展示了计算效率与统计最优性兼得。
• 定位速率 $ olimits\sigma^2 \log n / \kappa^2$ 在 $ olimits\log n$ 因子范围内达到极小极大最优，确认了理论边界的紧致性。
• 分析在次高斯噪声下成立，满足 $\\|Y_i\|_{\psi_2} \leq \sigma$，推广了结果在非高斯假设下的适用性。