[论文解读] Central Limit Theorem and Bootstrap Approximation in High Dimensions with Near $1/\sqrt{n}$ Rates

Miles E. Lopes|arXiv (Cornell University)|Sep 13, 2020

Statistical Methods and Inference参考文献 17被引用 5

一句话总结

本文在高维设定下建立了高斯分布与自助法近似接近 $n^{-1/2}$ 阶的 Berry-Esseen 误差界，聚焦于独立同分布的 $p$-维次高斯随机向量之和。通过新颖的证明技术，实现了对维度 $p$ 的温和对数依赖性，获得了更紧致的非渐近误差界。

ABSTRACT

Non-asymptotic bounds for Gaussian and bootstrap approximation have recently attracted significant interest in high-dimensional statistics. This paper studies Berry-Esseen bounds for such approximations (with respect to the multivariate Kolmogorov distance), in the context of a sum of $n$ random vectors that are $p$-dimensional and i.i.d. Up to now, a growing line of work has established bounds with mild logarithmic dependence on $p$. However, the problem of developing corresponding bounds with near $n^{-1/2}$ dependence on $n$ has remained largely unresolved. Within the setting of random vectors that have sub-Gaussian entries, this paper establishes bounds with near $n^{-1/2}$ dependence, for both Gaussian and bootstrap approximation. In addition, the proofs are considerably distinct from other recent approaches.

研究动机与目标

• 填补现有研究在高维高斯与自助法近似中非渐近误差界方面的空白，实现对样本量 $n$ 接近 $n^{-1/2}$ 的依赖关系。
• 克服以往研究仅实现对维度 $p$ 的对数依赖性，同时保持强收敛速率的局限性。
• 在子高斯假设下，为高维中心极限定理提供更紧致、更具实用性的误差界。
• 提出一种与近期方法不同的证明框架，实现对 $n$ 的改进依赖性，同时不牺牲对维度的控制能力。

提出的方法

• 推导独立同分布的 $p$-维子高斯随机向量之和的分布与高斯近似之间在多变量 Kolmogorov 距离下的非渐近 Berry-Esseen 误差界。
• 采用一种新颖的分析框架，避免依赖于以往研究中常用的经典 Stein 方法或基于熵的论证。
• 引入一种针对子高斯向量的精细化集中性论证，实现对近似误差的更紧密控制。
• 将分析扩展至自助法近似，在相同假设下建立了类似的接近 $n^{-1/2}$ 阶误差率。
• 利用依赖维度的熵与度量熵论证，管理高维投影的复杂性。
• 借助对称化与去耦合技术，将高维问题分解为可管理的组件，同时控制误差传播。

实验结果

研究问题

• RQ1 能否为独立同分布的子高斯随机向量之和的高维高斯近似建立接近 $n^{-1/2}$ 阶的 Berry-Esseen 误差界？
• RQ2 维度 $p$ 的依赖性如何影响高维中心极限定理中的收敛速率？
• RQ3 在相同的子高斯假设下，自助法近似能否实现类似的接近 $n^{-1/2}$ 阶误差率？
• RQ4 为实现这些改进的误差率，需要哪些超越现有基于熵或 Stein 方法的新型证明技术？
• RQ5 子高斯尾部与高维设定下所产生的近似误差之间存在何种相互作用？

主要发现

• 本文在高维情形下建立了接近 $n^{-1/2}$ 阶的 Berry-Esseen 误差界，显著优于以往仅实现对数依赖于 $n$ 的结果。
• 误差界仅表现出对维度 $p$ 的温和对数依赖性，即使当 $p$ 随 $n$ 增长时也保持有效性。
• 在自助法近似中也实现了相同的接近 $n^{-1/2}$ 阶误差率，扩展了结果在重抽样方法中的适用性。
• 该证明策略与近期方法有本质不同，依赖于替代的集中性与对称化技术，实现了更紧密的误差控制。
• 结果在随机向量分量的子高斯性假设下成立，这是高维统计中常见且现实的条件。
• 该框架为高维设定下的改进推断提供了基础，例如在控制误差率下构建置信区域与假设检验。