[论文解读] Analytic Bias Reduction for $k$-Sample Functionals

Christopher S. Withers, Saralees Nadarajah|ArXiv.org|Mar 17, 2009

Sparse and Compressive Sensing Techniques参考文献 17被引用 6

一句话总结

本文提出了一种基于 von Mises 导数（最高至 $2p-2$ 阶）的解析非参数偏差减少方法，用于 k-样本泛函，实现 $p$ 阶偏差减少，且计算成本仅为 $O(N)$——显著优于计算成本为 $O(N^p)$ 的自助法和刀切法。该方法可得到多项式 kays 和矩等泛函的紧凑无偏估计，且给出了前三阶偏度和峰度的显式公式。

ABSTRACT

We give analytic methods for nonparametric bias reduction that remove the need for computationally intensive methods like the bootstrap and the jackknife. We call an estimate {\it $p$th order} if its bias has magnitude $n_0^{-p}$ as $n_0 o \infty$, where $n_0$ is the sample size (or the minimum sample size if the estimate is a function of more than one sample). Most estimates are only first order and require O(N) calculations, where $N$ is the total sample size. The usual bootstrap and jackknife estimates are second order but they are computationally intensive, requiring $O(N^2)$ calculations for one sample. By contrast Jaeckel's infinitesimal jackknife is an analytic second order one sample estimate requiring only O(N) calculations. When $p$th order bootstrap and jackknife estimates are available, they require $O(N^p)$ calculations, and so become even more computationally intensive if one chooses $p>2$. For general $p$ we provide analytic $p$th order nonparametric estimates that require only O(N) calculations. Our estimates are given in terms of the von Mises derivatives of the functional being estimated, evaluated at the empirical distribution. For products of moments an unbiased estimate exists: our form for this "polykay" is much simpler than the usual form in terms of power sums.

研究动机与目标

• 开发计算高效的解析方法，用于 k-样本泛函的非参数偏差减少。
• 消除对自助法和刀切法等计算密集型重采样方法在高阶偏差减少中的依赖。
• 利用 von Mises 导数，为多项式 kays、累积量和矩等泛函提供显式、紧凑的无偏估计公式。
• 将解析偏差减少方法的适用范围从参数设定扩展至多个分布的一般光滑泛函。
• 通过前三阶偏度和峰度的显式推导，展示该方法的效率与准确性。

提出的方法

• 该方法基于在经验分布 $\widehat{F}$ 处计算的泛函 $T(F)$ 的 von Mises 导数（最高至 $2p-2$ 阶）的截断无穷级数，构造 $p$ 阶估计。
• 推导出三种估计形式——S、T 和 V，其中当 $p > 2$ 时 S-估计最优，因其所需项数更少。
• 证明 S-估计在 $p=2$ 时退化为 Jaeckel 的微小刀切法，建立了解析方法与重采样方法之间的直接联系。
• 对于为矩的多项式（如多项式 kays）的泛函，该方法可得到闭式无偏估计，无需依赖对称多项式表。
• 该方法使用泛函导数（影响函数）及其高阶类比，通过校正项确保在第一阶导数之外的一致性。
• 推导出偏度和峰度前三阶的显式公式，以累积量和标准化矩 $\beta_r$ 表示。

实验结果

研究问题

• RQ1 能否通过解析偏差减少方法，在仅 $O(N)$ 计算成本下实现 k-样本泛函的 $p$ 阶偏差减少，从而避免自助法和刀切法的 $O(N^p)$ 成本？
• RQ2 如何利用最高至 $2p-2$ 阶的 von Mises 导数，构造多个分布的光滑泛函的无偏估计？
• RQ3 所提出的 S-估计与 $p=2$ 时的 Jaeckel 微小刀切法之间存在何种关系？
• RQ4 该方法能否生成多项式 kays 和矩的紧凑显式无偏估计公式，从而避免依赖幂和表？
• RQ5 以标准化矩表示时，偏度和峰度的显式三阶偏差校正表达式是什么？

主要发现

• 所提出的解析 $p$ 阶估计实现偏差为 $O(n_0^{-p})$，且计算成本仅为 $O(N)$，相比自助法和刀切法的 $O(n_0^{p-1})$ 速度提升。
• 当 $p=2$ 时，S-估计退化为 Jaeckel 的微小刀切法，建立了解析方法与重采样方法之间的直接联系。
• S-估计为多项式 kays 提供了比传统基于幂和的公式更简洁的表达式，消除了对对称多项式表的依赖。
• 推导出偏度和峰度的显式三阶偏差校正表达式，其中 $T[2]$、$T[3]$ 和 $T[2^2]$ 以标准化矩 $\beta_r$ 表示。
• 该方法成功处理了矩与累积量的乘积，得到计算高效且解析可处理的无偏估计。
• 高阶 von Mises 导数的推导包含了必要的校正项，解决了原始定义中的歧义，确保了高阶展开的一致性。