[论文解读] Beyond Gaussian Approximation: Bootstrap for Maxima of Sums of Independent Random Vectors

Hang Deng, Cun‐Hui Zhang|arXiv (Cornell University)|May 26, 2017

Statistical Methods and Inference参考文献 29被引用 19

一句话总结

该论文提出一种无需依赖高斯近似的高维最大统计量自展方法，将一致推断所需的样本量从 $ n \gg (\log p)^7 $ 降低至 $ n \gg (\log p)^5 $。通过建立新的比较定理与反集中定理，即使在高斯近似失效时也能实现有效的自展推断。

ABSTRACT

The Bonferroni adjustment, or the union bound, is commonly used to study rate optimality properties of statistical methods in high-dimensional problems. However, in practice, the Bonferroni adjustment is overly conservative. The extreme value theory has been proven to provide more accurate multiplicity adjustments in a number of settings, but only on ad hoc basis. Recently, Gaussian approximation has been used to justify bootstrap adjustments in large scale simultaneous inference in some general settings when $n \gg (\log p)^7$, where $p$ is the multiplicity of the inference problem and $n$ is the sample size. The thrust of this theory is the validity of the Gaussian approximation for maxima of sums of independent random vectors in high-dimension. In this paper, we reduce the sample size requirement to $n \gg (\log p)^5$ for the consistency of the empirical bootstrap and the multiplier/wild bootstrap in the Kolmogorov-Smirnov distance, possibly in the regime where the Gaussian approximation is not available. New comparison and anti-concentration theorems, which are of considerable interest in and of themselves, are developed as existing ones interweaved with Gaussian approximation are no longer applicable.

研究动机与目标

• 开发一种适用于高维独立随机向量和的最大统计量的自展方法，且不依赖于高斯近似。
• 将一致自展推断所需的样本量从 $ n \gg (\log p)^7 $ 降低至 $ n \gg (\log p)^5 $。
• 建立在高斯模型之外依然有效的新型比较定理与反集中定理。
• 为高维统计中的大规模同时推断提供理论坚实且非渐近的框架。

提出的方法

• 基于比较不等式构建新颖的理论框架，以控制真实分布与自展分布之间在 Kolmogorov-Smirnov 距离上的差异。
• 提出不依赖于高斯近似的、适用于独立随机向量和的最大统计量的反集中定理。
• 在最小矩条件假设下，将经验自展与乘子/重尾自展方法应用于高维最大统计量。
• 结合链式论证、对称化与矩比较技术，以控制自展误差。
• 在改进后的样本量条件 $ n \gg (\log p)^5 $ 下，证明了自展方法在 Kolmogorov-Smirnov 距离下的一致性。
• 依赖于一种新型的反集中不等式，该不等式即使在高斯近似不成立时依然有效。

实验结果

研究问题

• RQ1 在不依赖高斯近似的前提下，自展方法能否在高维和的最大统计量上实现一致应用？
• RQ2 在高维设定下，有效自展推断的最小样本量要求是多少？
• RQ3 在非高斯情形下，如何建立最大统计量的反集中性质？
• RQ4 能否开发出对高斯近似失效具有鲁棒性的比较定理？

主要发现

• 在条件 $ n \gg (\log p)^5 $ 下，经验自展与乘子/重尾自展在 Kolmogorov-Smirnov 距离下具有一致性，优于先前所需的 $ n \gg (\log p)^7 $。
• 建立了即使在高斯近似失效时也有效的新型反集中定理，使非高斯高维设定下的稳健推断成为可能。
• 开发了比较不等式，可在不假设底层随机向量为高斯分布的前提下控制自展误差。
• 该理论框架适用于联合界过于保守、需借助极值理论的一般高维推断问题。