[论文解读] Minimax rates in sparse, high-dimensional change point detection

Haoyang Liu, Chao Gao+1 more|arXiv (Cornell University)|Jul 23, 2019

Statistical Methods and Inference参考文献 41被引用 9

一句话总结

本文在高斯噪声下精确确定了检测高维均值向量中稀疏变化的极小极大检验速率，揭示了在稀疏度水平 √(p log log(8n)) 处存在复杂的相变现象，并在某些区域表现出三重对数依赖关系。关键贡献在于对检测边界的精确刻画，包括密集区域的精确常数以及稀疏区域内的 √2 因子范围内的常数，同时将分析扩展至依赖数据结构。

ABSTRACT

We study the detection of a sparse change in a high-dimensional mean vector as a minimax testing problem. Our first main contribution is to derive the exact minimax testing rate across all parameter regimes for $n$ independent, $p$-variate Gaussian observations. This rate exhibits a phase transition when the sparsity level is of order $\sqrt{p \log \log (8n)}$ and has a very delicate dependence on the sample size: in a certain sparsity regime it involves a triple iterated logarithmic factor in~$n$. Further, in a dense asymptotic regime, we identify the sharp leading constant, while in the corresponding sparse asymptotic regime, this constant is determined to within a factor of $\sqrt{2}$. Extensions that cover spatial and temporal dependence, primarily in the dense case, are also provided.

研究动机与目标

• 在所有参数区域中确定检测高维均值向量中稀疏变化的精确极小极大检验速率。
• 刻画检测边界对样本量 n、维度 p 和稀疏度 s 的精确依赖关系，特别是识别在 s ≍ √(p log log(8n)) 处的相变点。
• 在密集渐近区域中推导出极小极大速率的精确首项常数，并在稀疏区域中确定常数在 √2 因子范围内的界。
• 将极小极大分析扩展至误差结构中存在空间（横截面）和时间（序列）依赖性的场景。
• 开发自适应检验程序，实现最优速率，且无需事先知晓稀疏度 s 的信息。

提出的方法

• 通过非渐近分析原假设与备择假设之间的总变差距离，推导极小极大检验速率。
• 使用截断二阶矩方法和卡方散度来界定检验错误概率。
• 应用 Ingster–Suslina 方法处理高斯位置混合分布，以计算高维设置下的卡方散度。
• 在变化点不确定性下，构建对协方差矩阵泛函（迹、Frobenius 范数、算子范数）的鲁棒估计器，以处理横截面依赖性。
• 提出一种基于截断 CUSUM 类统计量的极小极大最优检验，通过阈值化程序适应稀疏性。
• 通过在不同稀疏度水平上组合多个检验统计量，建立自适应检验程序，使其达到与 oracle 版本相同的速率。

实验结果

研究问题

• RQ1 在独立同分布高斯噪声下，检测高维均值向量中稀疏变化的精确极小极大检验速率是什么？
• RQ2 当稀疏度水平 s 低于或高于阈值 √(p log log(8n)) 时，极小极大速率如何表现？
• RQ3 在密集区域（s = p）中，极小极大速率的精确常数是多少？在稀疏区域中，我们能多接近这些常数？
• RQ4 横截面依赖性（非独立同分布的协方差结构）如何影响极小极大检验速率？哪些估计器对这种依赖性具有鲁棒性？
• RQ5 时间依赖性（误差过程中的序列相关性）如何改变检测边界？非对角块的算子范数之和的上界 B、p 和 n 之间的相对大小起什么作用？

主要发现

• 极小极大检验速率在稀疏度水平 s ≍ √(p log log(8n)) 处表现出相变，密集与稀疏区域的行为截然不同。
• 在密集区域（s = p），极小极大速率的精确首项常数被精确识别。
• 在稀疏区域（s < √(p log log(8n))），首项常数在 √2 因子范围内被确定。
• 对于空间依赖性，极小极大速率依赖于协方差矩阵的三个泛函：迹、Frobenius 范数和算子范数，同时提出了一种鲁棒估计方法。
• 对于时间依赖性，相变的发生取决于非对角块算子范数之和的上界 B、p 和 n 之间的相对大小。
• 构建了一种自适应检验，其达到的极小极大速率与 oracle 检验相同，且无需知晓稀疏度水平 s。