[论文解读] Laplace transform asymptotics and large deviation principles for longest success runs in Bernoulli trials

Takis Konstantopoulos, Zhenxia Liu+1 more|arXiv (Cornell University)|Jul 10, 2015

Stochastic processes and statistical mechanics参考文献 11被引用 3

一句话总结

本文为独立同分布的伯努利试验中最长运行时间 $L(n)$ 建立了精确的拉普拉斯变换渐近性质，推导出两个大偏差原理（LDP）：一个在典型值 $\log_{1/p}n$ 附近，另一个在远端偏差区域。主要贡献是基于 $L(n)$ 提出了一种新型置信区间来估计成功概率 $p$，当 $p$ 接近 1 且 $n$ 为中等规模时，其性能优于标准方法。

ABSTRACT

The longest stretch $L(n)$ of consecutive heads in $n$ i.i.d. coin tosses is seen from the prism of large deviations. We first establish precise asymptotics for the moment generating function of $L(n)$ and then show that there are precisely two large deviation principles, one concerning the behavior of the distribution of $L(n)$ near its nominal value $\log_{1/p} n$ and one away from it. We discuss applications to inference and to logarithmic asymptotics of functionals of $L(n)$.

研究动机与目标

• 为独立同分布伯努利试验中最长运行时间 $L(n)$ 的矩生成函数建立精确渐近性质。
• 推导 $L(n)$ 的两个大偏差原理（LDP）：一个在其典型值 $\log_{1/p}n$ 附近，另一个在远端偏差区域。
• 将 LDP 应用于统计推断，特别是构建成功概率 $p$ 的置信区间。
• 基于观测到的最长运行时间，提出一种新的 $p$ 置信区间，当 $p$ 接近 1 且 $n$ 为小到中等规模时性能更优。

提出的方法

• 在三种情形下推导 $\ln \mathbb{E}[e^{\lambda L(n)}]$ 的渐近性质：$\lambda < \ln(1/p)$，$\lambda = \ln(1/p)$，以及 $\lambda > \ln(1/p)$，利用分布估计和递归结构。
• 使用 Gärtner-Ellis 定理，从矩生成函数的渐近性质推导出完整的大型偏差原理。
• 将良好速率函数 $\Lambda^*(x)$ 定义为：当 $ x \geq 1 $ 时为 $ (x-1)\ln(1/p) $，否则为 $ +\infty $，以刻画 LDP。
• 建立尾部概率的对数渐近性质：对 $ x > 0 $，有 $ \frac{1}{\log_{1/p}n} \ln \mathbb{P}(L(n)/\log_{1/p}n \geq 1+x) \to -x\ln(1/p) $；对 $ 0 < x < 1 $，有 $ \frac{1}{\log_{1/p}n} \ln \left( -\ln \mathbb{P}(L(n)/\log_{1/p}n \leq 1-x) \right) \to x\ln(1/p) $。
• 利用观测到的最长运行时间 $L_{\text{obs}}(n)$ 和偏差校正点估计 $\widehat{L}(n)$，构建置信水平为 $100(1-\alpha)\%$ 的 $p$ 置信区间。
• 通过模拟验证新置信区间，与 Wilson 置信区间和 Clopper-Pearson 置信区间进行比较，尤其关注 $p \approx 1$ 的情形。

实验结果

研究问题

• RQ1 在 $n$ 个独立同分布的伯努利试验中，最长运行时间的矩生成函数 $\mathbb{E}[e^{\lambda L(n)}]$ 的精确渐近性质是什么？
• RQ2 能否为 $L(n)$ 严格建立大偏差原理？若可以，是否存在两个不同的偏差区域？
• RQ3 如何利用大偏差渐近性质来构建改进的 $p$ 置信区间？
• RQ4 当 $p$ 接近 1 时，基于最长运行时间提出的置信区间是否优于 Wilson 和 Clopper-Pearson 等标准方法？

主要发现

• 矩生成函数 $\mathbb{E}[e^{\lambda L(n)}]$ 满足：当 $\lambda < \ln(1/p)$ 时，有 $\ln \mathbb{E}[e^{\lambda L(n)}] \sim \lambda \log_{1/p}n$；当 $\lambda = \ln(1/p)$ 时，有 $\sim 2\lambda \log_{1/p}n$；当 $\lambda > \ln(1/p)$ 时，有 $\sim (\lambda - \ln(1/p))n$。
• 大偏差原理成立，其速率函数为 $\Lambda^*(x) = (x-1)\ln(1/p)$（当 $x \geq 1$ 时），否则为 $+\infty$，用于刻画在典型值 $\log_{1/p}n$ 附近的偏差。
• 对 $x > 0$，尾部概率满足 $\frac{1}{\log_{1/p}n} \ln \mathbb{P}(L(n)/\log_{1/p}n \geq 1+x) \to -x\ln(1/p)$，表明在对数尺度上呈指数衰减。
• 对 $0 < x < 1$，下尾满足 $\frac{1}{\log_{1/p}n} \ln \left( -\ln \mathbb{P}(L(n)/\log_{1/p}n \leq 1-x) \right) \to x\ln(1/p)$，表明其对数衰减速率不同。
• 提出一种新的 $p$ 置信区间：$I_p = \left( \exp\left\{ -\frac{\ln n - \ln(\alpha/2)}{\widehat{L}(n)} \right\}, \exp\left\{ -\frac{\ln n - \ln(-\ln(\alpha/2))}{\widehat{L}(n)} \right\} \right)$，其中 $\widehat{L}(n)$ 是 $L(n)$ 的偏差校正估计。
• 模拟结果表明，当 $p$ 接近 1 且 $n$ 为小到中等规模时，所提出的置信区间在覆盖精度方面优于 Wilson 和 Clopper-Pearson 置信区间。