[论文解读] Confidence Interval for the Mean of a Bounded Random Variable and Its Applications in Point Estimation

Xinjia Chen|arXiv (Cornell University)|Feb 23, 2008

Fluid Dynamics and Heat Transfer参考文献 3被引用 11

一句话总结

本文利用霍夫丁不等式和马萨特浓度界，提出了一种显式、闭式置信区间，用于有界随机变量的均值估计，即使在小样本或偏态样本下也能实现精确的区间估计。此外，本文进一步开发了多阶段顺序估计程序，可保证预设的精度和置信水平，并在最小分布假设下提供覆盖率的概率理论保证。

ABSTRACT

In this article, we derive an explicit formula for computing confidence interval for the mean of a bounded random variable. Moreover, we have developed multistage point estimation methods for estimating the mean value with prescribed precision and confidence level based on the proposed confidence interval.

研究动机与目标

• 解决经典置信区间在有界随机变量中，尤其在小样本或偏态样本下的覆盖不足问题。
• 开发一种非渐近、显式的置信区间公式，避免使用正态近似。
• 设计多阶段顺序估计程序，确保有界随机变量均值的预设精度与置信水平。
• 在最小分布假设下确保理论覆盖率保证，尤其适用于高度偏态或有界分布。
• 提供一种自适应采样框架，平衡精度、置信水平与样本效率，适用于有界均值估计。

提出的方法

• 通过 $ Z = (X-a)/(b-a) $ 将任意有界随机变量 $ X \in [a,b] $ 转换为 $ Z \in [0,1] $，将问题简化为在 [0,1] 上的区间估计。
• 应用霍夫丁不等式与马萨特浓度界，推导出 $\mu = \mathbb{E}[Z]$ 的闭式置信区间，参数化为样本量 $n$ 与置信水平 $1-\delta$。
• 将下界 $L$ 与上界 $U$ 定义为样本均值 $\overline{Z}$、样本量 $n$ 与调参参数 $c = \frac{9}{2\ln(2/\delta)}$ 的函数。
• 构建多阶段估计程序，采样持续进行，直至置信区间宽度满足相对于绝对或相对误差界限的精度要求。
• 基于置信区间边界与误差阈值 $\varepsilon_a$（绝对）和 $\varepsilon_r$（相对）设计停止规则，确保覆盖率 $\geq 1-\delta$。
• 利用递归更新置信区间与各阶段中逐渐缩小的误差界限，理论保证几乎必然有限停止时间与覆盖率。

实验结果

研究问题

• RQ1 能否在不依赖渐近正态性的情况下，为有界随机变量的均值推导出闭式置信区间？
• RQ2 如何设计顺序估计方法，以同时实现绝对与相对误差精度，并保证置信水平？
• RQ3 何种停止规则可确保有限的期望样本量，同时保持有界均值估计的覆盖率 $1-\delta$？
• RQ4 在小样本或偏态样本中，所提方法相较于经典基于中心极限定理的置信区间有何优势？
• RQ5 在有界性与次高斯浓度假设下，多阶段估计程序的理论保证可如何建立？

主要发现

• 利用霍夫丁不等式与马萨特界，推导出有界随机变量均值的显式置信区间，满足 $\Pr\{L < \mu < U\} \geq 1 - \delta$。
• 置信区间公式计算简单，无需数值积分或模拟，适用于实时应用。
• 开发了多阶段估计程序，确保在适当停止规则下 $\Pr\{\left|\widehat{\theta} - \theta\right| < \varepsilon_a \text{ 或 } \left|\widehat{\theta} - \theta\right| < \varepsilon_r |\theta|\} \geq 1 - \delta$。
• 理论结果保证几乎必然有限停止时间（$\Pr\{\ell < \infty\} = 1$），当使用定理1中的置信区间时成立。
• 对于多阶段程序，通过各阶段中逐渐缩小的误差阈值 $\zeta \delta / 2^{\tau - \ell}$ 控制覆盖率，确保整体 $1 - \delta$ 覆盖率。
• 该方法对偏态与样本量限制具有鲁棒性，在小样本或中等样本中优于经典基于中心极限定理的区间，尤其在分布有界且偏态时表现更优。