[论文解读] A Cheap Bootstrap Method for Fast Inference

Henry Lam|arXiv (Cornell University)|Jan 31, 2022

Statistical Methods and Inference被引用 5

一句话总结

本文提出廉价自展法（Cheap Bootstrap），一种计算高效的推断方法，仅需一次重采样即可实现渐近精确的覆盖区间，与传统自展法相比显著降低了计算成本。该方法利用在正态性假设下原始估计量与重采样估计量之间的渐近独立性，通过单次重采样构建枢轴统计量，从而实现在计算资源极度受限的情况下仍能快速、稳健地进行推断。

ABSTRACT

The bootstrap is a versatile inference method that has proven powerful in many statistical problems. However, when applied to modern large-scale models, it could face substantial computation demand from repeated data resampling and model fitting. We present a bootstrap methodology that uses minimal computation, namely with a resample effort as low as one Monte Carlo replication, while maintaining desirable statistical guarantees. We present the theory of this method that uses a twisted perspective from the standard bootstrap principle. We also present generalizations of this method to nested sampling problems and to a range of subsampling variants, and illustrate how it can be used for fast inference across different estimation problems.

研究动机与目标

• 解决大规模模型和数据密集型应用中传统自展法计算成本过高的问题。
• 克服在模拟和机器学习模型中，数据和模型噪声共同导致不确定性的嵌套重采样负担。
• 开发一种自展法变体，确保在最小重采样次数下（理想情况下仅一次蒙特卡洛复制）实现有效的统计推断。
• 在标准正则性条件下，为最小重采样情况下的覆盖精度提供理论保证。
• 通过消除对试错法调整重采样大小的需求，提升方法的鲁棒性。

提出的方法

• 通过利用在渐近正态性下原始估计量与任意重采样估计量之间的渐近独立性，重新诠释自展法原理。
• 使用原始估计量和单次重采样估计量构建枢轴统计量，从而消除干扰标准误参数的影响。
• 基于原始估计量和一次重采样估计量，采用t分布近似构造置信区间。
• 通过在多层不确定性中应用相同的枢轴构造，将该方法推广至嵌套重采样问题。
• 将该框架扩展至子采样变体和重叠重采样方案，以提升鲁棒性和准确性。
• 利用重叠重采样模拟重叠批次均值，避免不相交批次方法中的样本稀释问题。

实验结果

研究问题

• RQ1 是否仅通过一次自展重采样即可实现有效统计推断，同时保持渐近覆盖精度？
• RQ2 如何在不牺牲推断有效性的前提下，降低模拟和机器学习模型中嵌套重采样带来的计算负担？
• RQ3 在何种理论条件下，单次重采样足以生成渐近精确的置信区间？
• RQ4 在依赖性或高维设置下，廉价自展法与批次法和子采样法相比，在性能和鲁棒性方面表现如何？
• RQ5 该方法是否可扩展至处理序列相关性和高维模型，并可获得显式的误差界？

主要发现

• 在标准正则性条件下，廉价自展法仅使用一次重采样即可实现置信区间的渐近精确覆盖。
• 该方法的适用性不依赖于重采样次数，因此对重采样大小选择具有鲁棒性，无需调参。
• 通过使用单次重采样近似整个抽样分布，该方法绕过了嵌套重采样带来的乘法计算成本。
• 理论分析表明，由原始估计量和一次重采样估计量构成的枢轴统计量可消除标准误，从而实现计算量极小的t分布推断。
• 与不相交批次均值法相比，该方法避免了样本稀释问题；与双自展法相比，其外层重采样需求极少，因此更具可扩展性。
• 高维模型和序列相关数据的潜在扩展是可行的，未来工作有望利用高维Berry-Esseen型结果获得显式误差界。