[论文解读] A Sub-Gaussian Berry-Esseen Theorem for the Hypergeometric Distribution

Soumendra N. Lahiri, Arindam Chatterjee+1 more|ArXiv.org|Feb 13, 2006

Statistical Distribution Estimation and Applications参考文献 10被引用 4

一句话总结

本文建立了超几何分布收敛于正态极限的必要且充分条件——$Np(1-p)f(1-f) \to \infty$，推导出一个非一致的 Berry-Esseen 估计，表明尾部呈现次高斯衰减。证明了收敛速度为$O\left([Np(1-p)f(1-f)]^{-1/2}\right)$，该速度最优，并考虑了无放回抽样中的依赖性。

ABSTRACT

In this paper, we derive a necessary and sufficient condition on the parameters of the Hypergeometric distribution for weak convergence to a Normal limit. We establish a Berry-Esseen theorem for the Hypergeometric distribution solely under this necessary and sufficient condition. We further derive a nonuniform Berry-Esseen bound where the tails of the difference between the Hypergeometric and the Normal distribution functions are shown to decay at a sub-Gaussian rate.

研究动机与目标

• 确定超几何分布弱收敛于正态分布的必要且充分条件。
• 在该条件下，为超几何分布建立一个 Berry-Esseen 定理，量化收敛速率。
• 推导一个非一致的 Berry-Esseen 估计，显示近似误差尾部的次高斯衰减。
• 作为推论，为超几何分布提供一个指数（次高斯）尾部不等式。
• 分析抽样比例$f$和比例$p$在边界值（0或1）附近时对正态近似精度的影响。

提出的方法

• 将超几何分布$X \sim \text{Hyp}(n; M, N)$定义为从大小为$N$的有限总体中，其中$M$个为A型单位，抽取大小为$n$的简单随机样本中A型单位的数量。
• 引入标准化随机变量$\frac{X - np}{\sigma}$，其中$\sigma^2 = Np(1-p)f(1-f)$，以标准化分布。
• 证明当且仅当$Np(1-p)f(1-f) \to \infty$时，分布弱收敛于标准正态分布。
• 使用 Stein 方法和集中不等式，推导出形式为$\left|P\left(\frac{X - np}{\sigma} \leq x\right) - \Phi(x)\right| \leq \frac{C}{\sigma} (1 + x^2) \exp(-C' q(1-f)^2 x^2)$的非一致 Berry-Esseen 估计，其中$x \in \mathbb{R}$，$q = 1-p$。
• 应用 Chebyshev 不等式和尾部界，控制中心区域和尾部区域的概率，特别是当$f \leq 1/2$或$f > 1/2$时。
• 通过定义$V_r = n_r - X_r$利用对称性和对偶性，将结果扩展至右尾部以及$f > 1/2$的情形。

实验结果

研究问题

• RQ1 在参数$n, M, N$下，超几何分布弱收敛于正态分布的必要且充分条件是什么？
• RQ2 在该条件下，超几何分布收敛于正态分布的最优收敛速率是什么？
• RQ3 无放回抽样中的依赖结构如何影响正态近似的尾部行为？
• RQ4 能否为超几何分布推导出具有次高斯衰减的非一致 Berry-Esseen 估计？
• RQ5 从非一致估计中可以推导出何种指数尾部不等式？

主要发现

• 超几何分布弱收敛于正态极限的必要且充分条件是$Np(1-p)f(1-f) \to \infty$。
• 分布函数收敛于正态分布的速率是$O\left([Np(1-p)f(1-f)]^{-1/2}\right)$，该速率最优且无法进一步改进。
• 当$p$或$f$接近0或1时，由于依赖性的影响，收敛速率显著慢于标准的$O(n^{-1/2})$速率。
• 建立了非一致的 Berry-Esseen 估计，表明正态近似误差以次高斯速率衰减：$\left|P\left(\frac{X - np}{\sigma} \leq x\right) - \Phi(x)\right| \leq \frac{C}{\sigma}(1 + x^2) \exp(-C' q(1-f)^2 x^2)$。
• 该估计表明，尾部近似误差的衰减速度快于任何多项式，证实了次高斯尾部行为。
• 作为推论，导出了一个适用于超几何分布的指数（次高斯）尾部不等式，该不等式在相同条件下成立。