[论文解读] Calibrated Percentile Double Bootstrap For Robust Linear Regression Inference

Daniel McCarthy, Kai Zhang+5 more|arXiv (Cornell University)|Nov 1, 2015

Statistical Methods and Inference参考文献 18被引用 6

一句话总结

本文提出 perc-cal 方法，一种校准分位数双重自助法，用于在模型误设、非线性关系和异方差性条件下构建稳健线性回归的置信区间。该方法实现二阶精度，覆盖误差率为 O(n⁻²)，显著优于传统方法的 O(n⁻¹) 误差率，即使协变量为随机变量且真实关系为非线性时亦如此。

ABSTRACT

We consider inference for the parameters of a linear model when the covariates are random and the relationship between response and covariates is possibly non-linear. Conventional inference methods such as z-intervals perform poorly in these cases. We propose a double bootstrap-based calibrated percentile method, perc-cal, as a general-purpose CI method which performs very well relative to alternative methods in challenging situations such as these. The superior performance of perc-cal is demonstrated by a thorough, full-factorial design synthetic data study as well as a real data example involving the length of criminal sentences. We also provide theoretical justification for the perc-cal method under mild conditions. The method is implemented in the R package `perccal', available through CRAN and coded primarily in C++, to make it easier for practitioners to use.

研究动机与目标

• 解决当真实关系为非线性且协变量为随机变量时，传统置信区间方法在有限样本下表现不佳的问题。
• 开发一种通用推断方法，在严重模型误设（包括非线性和异方差性）下仍能保持准确的覆盖概率。
• 在较弱正则性条件下，为 perc-cal 方法提供理论依据，证明其具有二阶正确性。
• 通过使用 C++ 编写的 R 包（'perccal'）实现快速、实用的计算方法，便于实践者广泛使用。
• 通过模拟数据和真实世界数据展示，perc-cal 在覆盖精度方面优于异方差稳健估计器（sandwich estimator）和其他标准方法。

提出的方法

• perc-cal 方法采用双重自助程序：第一重自助从数据中重采样，以估计回归系数的抽样分布。
• 通过第二重自助估计并校正覆盖误差，对自助分布的分位数进行校准，采用校准分位数方法。
• 利用 Hall（1992）和 Jensen（1989）的埃德蒙森展开式与渐近理论，推导自助分布中偏差和偏度的高阶校正。
• 通过第二重自助估计覆盖误差，并求解名义分位数的校准调整 ξ，确保最终区间达到二阶精度。
• 校准步骤使用埃德蒙森展开式中误差项 r₂(z) 的递归估计，该误差项由第二重自助样本估计得出。
• 该方法通过 C++ 实现，集成于 R 包 'perccal' 中，以提升计算效率，从而可快速应用于真实世界数据集。

实验结果

研究问题

• RQ1 当真实关系为非线性且协变量为随机变量时，基于双重自助的置信区间方法能否在线性回归中实现二阶精度（覆盖误差率为 O(n⁻²)）？
• RQ2 在模型误设条件下，perc-cal 方法与 z 区间、BCa 和异方差稳健估计器等传统方法相比，其经验覆盖性能如何？
• RQ3 perc-cal 方法在包括非线性均值函数和异方差误差在内的多种数据生成机制下，是否能保持可靠的覆盖性能？
• RQ4 perc-cal 方法在较弱正则性条件下，其性能提升的理论依据是什么？
• RQ5 能否通过使用 C++ 加速的 R 包实现 perc-cal 的计算高效实现，并在实际应用中部署？

主要发现

• perc-cal 方法实现了 O(n⁻²) 的覆盖误差率，显著优于 z 区间和 BCa 等传统方法的 O(n⁻¹) 误差率。
• 在全因子模拟数据研究中，perc-cal 在经验覆盖方面始终优于异方差稳健估计器和其他标准方法，尤其在非线性均值函数和异方差性条件下表现更优。
• 在使用犯罪量刑数据集的真实数据示例中，该方法表现出稳健性能，即使真实关系为非线性，也能保持准确的覆盖概率。
• 理论分析表明，双重自助校准能有效消除覆盖概率中 O(n⁻¹/²) 的误差项，从而实现二阶正确性。
• R 包 'perccal' 提供了快速、C++ 加速的实现方式，使 perc-cal 在实际研究中可低开销地应用。
• 由于其二阶精度和稳健的校准机制，perc-cal 方法被证明在严重模型误设条件下依然可靠且具有广泛适用性。