[论文解读] Bias Correction with Jackknife, Bootstrap, and Taylor Series

Jiantao Jiao, Yanjun Han|arXiv (Cornell University)|Sep 18, 2017

Statistical Methods and Inference参考文献 52被引用 4

一句话总结

本文针对任意连续函数 $f \in C[0,1]$，在二项模型中运用刀切法（jackknife）、自展法（bootstrap）和泰勒级数方法，对偏差校正进行了严格分析。研究发现，标准渐近展开因依赖于 $p$ 而无法捕捉均匀偏差行为，且自展法迭代可能导致发散；而刀切法与自展法偏差校正与逼近论密切相关，其收敛速率与函数光滑性及系数有界性紧密关联。

ABSTRACT

We analyze bias correction methods using jackknife, bootstrap, and Taylor series. We focus on the binomial model, and consider the problem of bias correction for estimating $f(p)$, where $f \in C[0,1]$ is arbitrary. We characterize the supremum norm of the bias of general jackknife and bootstrap estimators for any continuous functions, and demonstrate the in delete-$d$ jackknife, different values of $d$ may lead to drastically different behaviors in jackknife. We show that in the binomial model, iterating the bootstrap bias correction infinitely many times may lead to divergence of bias and variance, and demonstrate that the bias properties of the bootstrap bias corrected estimator after $r-1$ rounds are of the same order as that of the $r$-jackknife estimator if a bounded coefficients condition is satisfied.

研究动机与目标

• 理解在一般连续函数 $f \in C[0,1]$ 下，刀切法与自展法估计器在二项模型中的偏差校正性质。
• 解决依赖可微性与逐点分析的经典渐近展开的局限性，这些方法无法捕捉 $p \in [0,1]$ 上的均匀偏差行为。
• 研究迭代自展法偏差校正的行为，表明其在简单模型中即使在偏差与方差上也可能发散。
• 建立自展法与刀切法方法与逼近论之间的理论联系，特别是通过多项式逼近与连续模 $\omega^2(f,h)$。
• 刻画一般刀切法与自展法估计器的偏差上确界范数，并确定其达到改进偏差率的条件。

提出的方法

• 以二项模型 $n \hat{p}_n \sim \text{Bin}(n,p)$ 作为最小统计模型，研究对 $f \in C[0,1]$ 的 $f(p)$ 估计中的偏差。
• 应用偏差 $e_{1,n}(p) = f(p) - \mathbb{E}_p[f(\hat{p}_n)]$ 的泰勒级数展开，分析偏差降低的阶数，揭示出依赖于 $p$ 的项，从而否定标准 $O_p(1/n^k)$ 近似。
• 引入删除-$d$ 刀切估计器，并表明不同 $d$ 值会导致偏差行为发生显著差异，尤其在 $p=0$ 附近。
• 通过迭代应用分析自展法偏差校正，证明无限次迭代可能导致偏差与方差同时发散。
• 通过逼近论建立自展法与刀切法之间的联系，证明在系数有界条件下，$r$-阶自展法校正的偏差性质与 $r$-阶刀切法相当。
• 运用斯泰科洛夫函数（Steklov functions）与连续模 $\omega^2(f,h)$ 来界定 $\mathbb{E}[f(X)] - f(\mathbb{E}[X])$ 的偏差，实现对 $p \in [0,1]$ 的统一控制。

实验结果

研究问题

• RQ1 为何标准渐近展开无法描述二项模型中刀切法与自展法估计器的均匀偏差行为？
• RQ2 在何种条件下，自展法偏差校正可确保收敛而非发散？
• RQ3 第 $r$ 阶自展法校正的偏差性质与第 $r$ 阶刀切法估计器相比如何？
• RQ4 能否对所有 $f \in C[0,1]$ 与 $p \in [0,1]$ 均统一有界化刀切法与自展法估计器的偏差？
• RQ5 逼近论在理解非参数偏差校正方法的收敛性与偏差行为中起何作用？

主要发现

• 对于 $f(p) = p \ln(1/p)$，标准刀切法估计器的偏差在 $C_2/n$ 上有统一下界，表明其未降低与原始估计器相比的偏差阶数。
• 即使在二项模型中，无限次迭代自展法偏差校正也可能在偏差与方差上均发散。
• 若满足有界系数条件，则第 $r$ 阶自展法校正估计器的偏差与第 $r$ 阶刀切法估计器同阶，建立了理论等价性。
• 对任意 $f \in C[0,1]$，一般刀切法与自展法估计器的偏差上确界范数已得到刻画，揭示出 $d$-删除刀切法的行为随 $d$ 显著变化。
• 在适当光滑性条件下，第 $r$ 阶刀切法估计器的偏差为 $O(1/n^r)$，但由于 $p=0$ 处的奇点，该速率无法对所有 $f \in C[0,1]$ 均实现。
• 对于 $f(p) = p \ln(1/p)$，原始估计器的偏差为 $O(1/n)$，且在 $p \in [0,1]$ 上，标准刀切法或自展法校正无法统一改善该速率。