[论文解读] High-dimensional simultaneous inference with the bootstrap

Ruben Dezeure, Peter Bühlmann+1 more|arXiv (Cornell University)|Jun 13, 2016

Statistical Methods and Inference参考文献 39被引用 8

一句话总结

本文提出了一种残差自举与野生自举方法，用于具有非高斯异方差误差的高维线性模型，以去稀疏化Lasso为基础。在稀疏性和组大小约束下，建立了同时推断的渐近一致性，提供了在 $ p \gg n $ 的高维设置下稳健且计算可行的置信区间和多重假设检验校正。

ABSTRACT

We propose a residual and wild bootstrap methodology for individual and simultaneous inference in high-dimensional linear models with possibly non-Gaussian and heteroscedastic errors. We establish asymptotic consistency for simultaneous inference for parameters in groups $G$, where $p \gg n$, $s_0 = o(n^{1/2}/\{\log(p) \log(|G|)^{1/2}\})$ and $\log(|G|) = o(n^{1/7})$, with $p$ the number of variables, $n$ the sample size and $s_0$ denoting the sparsity. The theory is complemented by many empirical results. Our proposed procedures are implemented in the R-package hdi.

研究动机与目标

• 解决高维线性模型中非高斯与异方差误差下可靠推断方法的缺乏问题。
• 提出一种基于自举的方法，避免标准Lasso推断中固有的超效率偏差。
• 在 $ p \gg n $ 的高维渐近框架下，实现对变量组的同时推断。
• 在弱稀疏性和组大小约束下，建立个体与同时推断的理论一致性。
• 提供一种实用且计算高效的实现方法，通过R包hdi（Meier等，2016）支持真实世界高维数据分析。

提出的方法

• 本文提出对去稀疏化Lasso估计量进行自举，该估计量是一种常规的非稀疏估计量，在弱稀疏性下具有渐近正态性与效率。
• 采用残差自举与野生自举方案，以近似去稀疏化Lasso的抽样分布，其中在异方差误差下更偏好使用野生自举。
• 对残差向量 $ Z_1, \dots, Z_p $ 进行自举重采样，这些残差在固定设计下仅需计算一次，从而最小化计算开销。
• 在条件 $ s_0 = o(n^{1/2}/\{\log(p)\log(|G|)^{1/2}\}) $ 与 $ \log(|G|) = o(n^{1/7}) $ 下建立了理论一致性，其中 $ s_0 $ 为稀疏性，$ G $ 为变量组。
• 通过基于自举的p值实现多重假设检验校正，从而在大量假设下实现同时误差控制。
• 实现已集成至R包hdi（Meier等，2016）中，支持在高维数据分析中的实际应用。

实验结果

研究问题

• RQ1 在 $ p \gg n $ 且存在非高斯、异方差误差的高维线性模型中，如何实现可靠的的同时推断？
• RQ2 在异方差性下，残差自举与野生自举中哪种方法能提供一致的推断？为何一种方法优于另一种？
• RQ3 对去稀疏化Lasso进行自举是否能避免直接基于Lasso推断中固有的超效率现象？
• RQ4 对稀疏性 $ s_0 $ 与组大小 $ |G| $ 的理论条件如何影响同时推断的有效性？
• RQ5 与现有方法相比，所提出的自举方法在计算可行性与经验表现方面如何？

主要发现

• 所提出的自举方法在条件 $ s_0 = o(n^{1/2}/\{\log(p)\log(|G|)^{1/2}\}) $ 与 $ \log(|G|) = o(n^{1/7}) $ 下，即使在 $ p \gg n $ 的情况下，也能实现同时推断的渐近一致性。
• 在异方差误差下，野生自举具有一致性，而残差自举在此设置下失效，因此野生自举是实现稳健推断的优选方法。
• 通过自举去稀疏化Lasso而非稀疏Lasso，该方法避免了超效率现象，从而产生更可靠的置信区间与p值。
• 实证结果表明，该方法在多重假设检验校正与同时覆盖概率方面表现优于其他方法，尤其在非高斯与异方差误差下表现更优。
• 自举的计算成本可控，且远低于计算去稀疏化Lasso本身，尤其在固定设计下更为显著。
• 该方法已通过R包hdi（Meier等，2016）实现，支持在真实世界高维数据集中的实际应用。