[论文解读] Can we trust the bootstrap in high-dimension?

Noureddine El Karoui, Elizabeth Purdom|arXiv (Cornell University)|Aug 2, 2016

Statistical Methods and Inference参考文献 47被引用 11

一句话总结

本文研究了在高维线性回归中自助法的可靠性，其中预测变量数量 $ p $ 与观测数 $ n $ 相当。研究表明，在高维渐近条件下，标准残差自助法和成对自助法均失效：残差自助法呈反保守性（I 类错误膨胀），而成对自助法则过于保守（统计功效损失），而自助法则过度估计方差。作者基于理论洞察提出了校正的自助法程序，但警告称，若无特定模型假设，普遍鲁棒的自助法几乎不可能实现。

ABSTRACT

We consider the performance of the bootstrap in high-dimensions for the setting of linear regression, where $p

研究动机与目标

• 评估在 $ p/n \to \kappa \in (0,1) $ 的高维线性回归中自助法的表现，该情形未被经典渐近理论充分捕捉。
• 评估标准自助法（残差自助与成对自助）能否为单个回归系数 $ \beta_1 $ 生成有效的置信区间。
• 研究自助法在高维情形下的表现及其对方差估计的影响。
• 开发可缓解高维渐近条件下已识别失效问题的校正自助法程序。
• 确定在无强模型假设的前提下，是否存在普遍适用的、鲁棒的高维自助法。

提出的方法

• 作者利用随机矩阵理论和经验过程工具，分析在高维渐近情形 $ p/n \to \kappa \in (0,1) $ 下自助法的渐近行为。
• 比较三种重抽样方法：残差自助法（重抽残差）、成对自助法（重抽数据对 $ (y_i, X_i) $）和自助法（删除一个观测的方差估计）。
• 理论分析表明，在高维渐近下 $ \hat{\beta} $ 的抽样分布与经典 i.i.d. 行为显著不同，从而使标准自助法近似失效。
• 提出一种校正的自助法——基于去卷积的自助法（方法1），通过核去卷积更准确地估计误差分布，带宽选择基于数据驱动规则。
• 作者推导出一个校正因子 $ \alpha(\kappa) $，用于调整成对自助法中的方差估计，该因子基于对渐近协方差结构的理论分析得出。
• 通过在多种误差分布（正态、拉普拉斯、椭球）和设计矩阵下进行模拟，评估 95% 置信区间的覆盖概率与区间宽度。

实验结果

研究问题

• RQ1 当 $ p/n \to \kappa \in (0,1) $ 时，标准自助法（残差与成对）能否为 $ \beta_1 $ 生成有效的置信区间？
• RQ2 在高维设置下，自助法在估计 $ \hat{\beta} $ 方差方面的表现如何？
• RQ3 残差与成对自助法在高维下失效的原因是什么？这些失效问题能否被校正？
• RQ4 能否构建一种基于理论的自助法程序，使其在高维渐近下保持正确的覆盖概率？
• RQ5 此类校正后的自助法在多大程度上可普遍适用，还是必须依赖特定模型假设？

主要发现

• 残差自助法产生反保守的置信区间，当 $ p/n = 0.5 $ 时，I 类错误率上升至 21%，表明 I 类错误严重膨胀。
• 随着 $ p/n \to 0.5 $，成对自助法变得越来越保守，某些误差分布下覆盖概率降至 0%，表明统计功效近乎完全丧失。
• 自助法严重高估 $ \hat{\beta} $ 的方差，对于重尾误差下的 L1 损失，中位数高估比率高达 3.156。
• 采用适当带宽选择的基于去卷积的自助法（方法1）将错误率降低至接近名义水平（例如，正态误差下约为 3%），表现出更优的覆盖性能。
• 通过理论分析推导出的缩放因子 $ \alpha(\kappa) $ 校正成对自助法，可恢复合理的覆盖概率，使 $ p/n = 0.5 $ 时错误率从 21% 降低至约 10%。
• 校正因子依赖于损失函数（L2、Huber、L1）和误差分布，表明在无特定模型假设的前提下，不存在普遍适用的自助法校正。