[论文解读] Lower bounds on binomial and Poisson tails: an approach via tail conditional expectations

Christos Pelekis|arXiv (Cornell University)|Sep 21, 2016

Financial Risk and Volatility Modeling参考文献 22被引用 5

一句话总结

本文提出一种新方法，通过利用尾部条件期望的上界，推导出二项分布和泊松分布尾部概率的非渐近下界。主要贡献是针对 Bin(n,p) 和 Poi(μ) 的 P(X ≥ k) 建立了下界，该下界可达到更紧的阶乘矩上界的常数倍，且表达式明确，涉及 p 和二项式系数。

ABSTRACT

We derive upper bounds on the tail conditional expectation of binomial and Poisson random variables. Those upper bounds are subsequently employed to the problem of obtaining non-asymptotic lower bounds on the probability that the aforementioned random variables are significantly larger than their expectation.

研究动机与目标

• 解决在固定参数下，二项分布和泊松分布尾部概率缺乏系统性、非渐近下界的问题。
• 提出一种新方法，通过分析尾部条件期望，推导出紧致的下界。
• 提供一个框架，使得下界与二项分布尾部更紧的阶乘矩上界成比例。
• 将该方法扩展至泊松分布，其中此类下界在文献中研究较少。

提出的方法

• 利用递推矩恒等式和比值估计，推导出 Bin(n,p) 和 Poi(μ) 的尾部条件期望 E[X | X ≥ k] 的上界。
• 将尾部概率 P(X ≥ k) 表示为尾部条件期望倒数的乘积，从而将问题转化为对这些期望的上界估计。
• 利用泊松变量的恒等式 E[Y | Y ≥ k] = μ · P(Y ≥ k−1) / P(Y ≥ k)，建立尾部概率与条件期望之间的关系。
• 通过利用 E[Y | Y ≥ k] 的上界，对连续尾部概率的比值进行有界，从而建立尾部概率的递推不等式。
• 应用中位数界 P(Y ≥ μ − ln 2) ≥ 1/2 于泊松变量，以锚定下尾部概率的估计。
• 将尾部条件期望的上界与乘积估计相结合，推导出以 p、n、k 和 μ 表示的显式下界。

实验结果

研究问题

• RQ1 能否利用尾部条件期望的上界，推导出二项分布和泊松分布尾部概率的非渐近下界？
• RQ2 与基于熵估计和二项式系数近似的方法所得的现有下界相比，所提下界在紧致性上表现如何？
• RQ3 新下界与二项分布尾部更紧的阶乘矩上界之间存在何种定量关系？
• RQ4 该方法能否扩展至泊松分布，其中尾部下界的研究尚不系统？
• RQ5 新下界对二项分布和泊松分布尾部而言，能达到 Chernoff-Hoeffding 上界的多大比例？

主要发现

• 对于 Bin(n,p) 且 k > np，本文建立了如下下界：P(X ≥ k) ≥ (1/2) · p²⁽ˡ⁺¹⁾ · binom(n, ℓ+1) / binom(k, ℓ+1)，其中 ℓ = floor((k−np)/(1−p))。
• 该下界被证明与更紧的阶乘矩上界成比例，且当 k 和 p 适中至较大时，比例下界远离零。
• 对于 Poi(μ) 且 k > μ，本文推导出 P(Y ≥ k) ≥ (1/2) · ∏_{j=0}^{ℓ} μ / ((k−j) + μ)，其中 ℓ = floor(k−μ)，优于平凡估计。
• 实证结果表明，该二项分布尾部的下界与基于熵的下界（3）几乎同样紧致，且在 k 和 p 较大时通常更优。
• 该方法表明，尾部条件期望的上界是推导下尾部边界的一种可行且强大的工具。
• 该方法可得到非渐近、显式且可计算的下界，其紧致性优于朴素估计，且与已知边界具有竞争力。