[论文解读] Some Refinements of Large Deviation Tail Probabilities

László Györfi, Peter Harremoës+1 more|arXiv (Cornell University)|May 4, 2012

Financial Risk and Volatility Modeling参考文献 9被引用 4

一句话总结

本文通过引入一种高斯近似，改进了经典 Bahadur-Rao 估计，对独立同分布随机变量的大偏差尾概率进行了精细化处理。该方法利用偏移高斯尾部，推导出尾概率 $ \mathbf{P}\left\{\frac{1}{n}\sum_{i=1}^{n}X_{i} \geq \mu\right\} $ 的精确渐近表达式，其中校正项 $ c_\mu $ 依赖于散度 $ D(\mu\|p) $、方差以及矩生成函数，对二项分布和一般指数族分布实现了 $ O(1/n) $ 的误差。

ABSTRACT

We study tail probabilities via some Gaussian approximations. Our results make refinements to large deviation theory. The proof builds on classical results by Bahadur and Rao. Binomial distributions and their tail probabilities are discussed in more detail.

研究动机与目标

• 对大偏差尾概率估计进行精细化处理，超越经典 Bahadur-Rao 近似。
• 将高斯尾部近似拓展至标准正态近似失效的大偏差区域。
• 为 i.i.d. 和的尾概率推导出精确的渐近表达式，尤其针对二项分布。
• 提供一个校正项 $ c_\mu $，以调整高斯近似，实现更高阶精度。
• 为非格点分布与格点分布（包括伯努利试验）建立渐近结果。

提出的方法

• 采用指数族框架，通过矩生成函数 $ \mathcal{Z}(\beta) $ 定义 $ P_\beta $。
• 将 $ \hat{\beta}(\mu) $ 定义为方程 $ \frac{\mathcal{Z}'(\beta)}{\mathcal{Z}(\beta)} = \mu $ 的解，建立均值与累积量参数之间的联系。
• 在二项分布情形下引入信息散度 $ D(\mu\|p) = \mu\ln\frac{\mu}{p} + (1-\mu)\ln\frac{1-\mu}{1-p} $。
• 通过 $ \frac{\ln\left( \frac{(2D(\mu))^{1/2}}{V(\mu)^{1/2} \cdot \text{effective} \, \beta} \right)}{\hat{\beta}(\mu)} $ 引入校正项 $ c_\mu $，调整高斯尾部的参数。
• 推导出主要近似公式：$ \mathbf{P}\left\{\frac{1}{n}\sum X_i \geq \mu\right\} = \Phi\left( -n^{1/2} \sqrt{2D(\mu - \frac{c_\mu}{n})} \right) (1 + O(1/n)) $。
• 通过将 $ \hat{\beta}(\mu) $ 替换为 $ \frac{1 - e^{-d\hat{\beta}(\mu)}}{d} $，将方法适配于格点分布，保持渐近精度。

实验结果

研究问题

• RQ1 能否在提升精度的前提下，将高斯近似推广至大偏差区域？
• RQ2 当 $ \mu $ 远离均值时，尾概率 $ \mathbf{P}\left\{\frac{1}{n}\sum X_i \geq \mu\right\} $ 的精确渐近形式是什么？
• RQ3 如何推导出校正项 $ c_\mu $，以使 Bahadur-Rao 近似达到 $ O(1/n) $ 的误差？
• RQ4 对于格点分布的随机变量（尤其是伯努利试验），该近似表现如何？
• RQ5 能否根据数值证据，将渐近结果强化为精确不等式？

主要发现

• 尾概率 $ \mathbf{P}\left\{\frac{1}{n}\sum X_i \geq \mu\right\} $ 的渐近近似为 $ \Phi\left( -n^{1/2} \sqrt{2D(\mu - \frac{c_\mu}{n})} \right) (1 + O(1/n)) $，其中 $ D(\mu\|p) $ 为 Kullback-Leibler 散度。
• 对于二项分布，校正项为 $ c_\mu = \frac{1}{2} + \frac{\ln\left( \frac{2D(\mu\|p)}{(\mu-p)^2 p(1-p)} \right)}{2\ln\left( \frac{\mu(1-p)}{p(1-\mu)} \right)} $，当 $ p=0.5 $ 时，$ c_\mu \in (0.5, 0.534) $。
• 数值结果显示，当 $ p=0.5 $ 时，$ c_\mu \approx 0.5 + (\mu - 0.5)/12 $，表明校正项接近线性。
• 该近似对非格点与格点分布均成立，格点情形通过修改有效的 $ \beta $-参数保持渐近精度。
• 该方法通过在高斯尾部参数中引入精细化偏移，改进了 Bahadur-Rao 结果，将误差从 $ O(1/\sqrt{n}) $ 降低至 $ O(1/n) $。
• 数值实验表明，即使在小样本 $ n $ 情况下，该近似也保持高精度，支持其实际应用价值。