[论文解读] Inverse Sampling for Nonasymptotic Sequential Estimation of Bounded Variable Means

Xinjia Chen|arXiv (Cornell University)|Nov 18, 2007

Statistical Methods and Inference参考文献 15被引用 6

一句话总结

本文提出了一种针对[0,1]区间内有界随机变量的非渐近序贯估计方法，采用逆采样策略，当累积和达到通过二分查找确定的阈值时停止采样。该方法在无需事先知晓均值的情况下，保证了预设的相对精度和置信水平，通过严格控制样本量和误差概率，纠正了先前方法中的缺陷。

ABSTRACT

In this paper, we consider the nonasymptotic sequential estimation of means of random variables bounded in between zero and one. We have rigorously demonstrated that, in order to guarantee prescribed relative precision and confidence level, it suffices to continue sampling until the sample sum is no less than a certain bound and then take the average of samples as an estimate for the mean of the bounded random variable. We have developed an explicit formula and a bisection search method for the determination of such bound of sample sum, without any knowledge of the bounded variable. Moreover, we have derived bounds for the distribution of sample size. In the special case of Bernoulli random variables, we have established analytical and numerical methods to further reduce the bound of sample sum and thus improve the efficiency of sampling. Furthermore, the fallacy of existing results are detected and analyzed.

研究动机与目标

• 开发一种针对[0,1]区间内有界随机变量均值的非渐近序贯估计方法，确保预设的相对精度和置信水平。
• 解决先前逆采样方法（Dagum等与Cheng）中的关键缺陷，这些方法依赖于无效的渐近或条件推理。
• 推导出确保所需估计精度的可计算样本和阈值，且无需事先知晓真实均值。
• 提供样本量分布的显式界，提升理论与实际效率。
• 通过严格分析并驳回先前工作中存在的错误概率论论证，纠正现有文献中的错误断言。

提出的方法

• 提出一种逆采样规则：持续采样，直至独立同分布的[0,1]有界随机变量的累积和达到预计算的阈值。
• 使用二分查找算法确定样本和的最优阈值，以确保所需的置信水平和相对精度。
• 利用切尔诺夫-胡夫丁界（Chernoff-Hoeffding bound）的反函数，推导出适用于相对误差和非渐近保证的显式阈值公式。
• 通过集中不等式和鞅论方法，建立样本量尾部概率的严格界。
• 应用解析与数值技术，在伯努利随机变量的特殊情况下进一步降低阈值，提升采样效率。
• 识别并纠正先前工作中存在的逻辑不一致，特别是Cheng（2004）论文中使用的条件概率论证。

实验结果

研究问题

• RQ1 能否设计一种非渐近序贯采样方案，在无需事先知晓真实均值的情况下，保证相对误差界与固定置信水平？
• RQ2 在序贯估计中，确保所需相对精度与置信水平的样本和正确阈值是什么？
• RQ3 为何Dagum等与Cheng的现有方法无法提供有效的非渐近保证？其论证中存在哪些逻辑缺陷？
• RQ4 如何对样本量分布施加界，以支持实际实现与效率分析？
• RQ5 在伯努利随机变量情况下，能否通过解析优化进一步降低样本和的阈值？

主要发现

• 本文识别出Dagum等论证中的关键缺陷：当所需样本量超过阈值时，其声称的停止时间与阈值之间的不等式在非整数边界下并不普遍成立。
• Cheng（2004）论文中的论证无效，因其将固定样本量的集中不等式（定理5）应用于依赖于数据的随机样本量，违反了独立性假设。
• 所提出的二分法提供了一种可靠且可计算的样本和阈值确定方式，无需事先知晓均值，可确保非渐近置信保证。
• 对于伯努利随机变量，本文推导出更紧的样本和所需界，相比通用界显著提升了采样效率。
• 本文证明样本量分布是随机有界的，其显式上界由集中不等式导出。
• 该方法确保样本均值的相对误差在ε以内，其概率至少为1−δ，且不依赖于渐近近似或对μ的松散下界。