[论文解读] Extremal distributions for tail probabilities of sums of iid random variables on [0,1]

Ludolf Erwin Meester|ArXiv.org|Aug 12, 2008

Probability and Risk Models参考文献 4被引用 3

一句话总结

本文解决了关于在固定均值 $m$ 下使和 $S_n \leq t$ 的尾部概率 $\mathbb{P}(S_n \leq t)$ 最大的 i.i.d. $[0,1]$ 随机变量的极值分布的两个长期悬而未决的猜想。通过拉格朗日乘子法，推导出极值性的必要条件，并完全解决了 $n=2$ 的情形，表明极值分布为离散分布，其支撑点最多三个——这反驳了原有猜想，并提出了一个修订后的猜想：对于一般 $n$，极值分布属于一个有限的二阶和三阶支撑分布族。

ABSTRACT

Two old conjectures from problem sections, one of which from SIAM Review, concern the question of finding distributions that maximize P(Sn <= t), where Sn is the sum of i.i.d. random variables X1, ..., Xn on the interval [0,1], satisfying E[X1]=m. In this paper a Lagrange multiplier technique is applied to this problem, yielding necessary conditions for distributions to be extremal, for arbitrary n. For n=2, a complete solution is derived from them: extremal distributions are discrete and have one of the following supports, depending on m and t: {0,t}, {t-1,1}, {t/2,1}, or {0,t,1}. These results suffice to refute both conjectures. However, acquired insight naturally leads to a revised conjecture: that extremal distributions always have at most three support points and belong to a (for each n, specified) finite collection of two and three point distributions.

研究动机与目标

• 解决来自《SIAM Review》和《Statistica Neerlandica》的两个未决猜想，即在固定均值 $m$ 下，使 $\mathbb{P}(S_n \leq t)$ 最大的分布，其中 $X_i$ 为 $[0,1]$ 上的 i.i.d. 随机变量。
• 刻画在 $t < mn$ 时达到上确界 $p(m,t) = \sup_{\mu \in \mathcal{D}_m} \mathbb{P}_\mu(S_n \leq t)$ 的极值分布。
• 发展一种通用方法，利用拉格朗日乘子法，推导一般 $n$-变量情形下极值性的必要条件。
• 通过在 $n=2$ 情形下构造显式反例，证明原始猜想不成立，即极值分布可具有超过两个支撑点。
• 提出一个修订猜想：对于任意 $n$，极值分布的支撑点数最多为三个，且属于一个有限的、显式定义的二阶和三阶支撑分布族。

提出的方法

• 应用 Mattner (2007) 提出的拉格朗日乘子技术，推导在均值约束 $\mathbb{E}[X_1] = m$ 下使 $\mathbb{P}(S_n \leq t)$ 最大的分布 $\mu$ 为极值的必要条件。
• 利用弱*-紧致性和弱*-连续性，保证在 $[0,1]$ 上均值为 $m$ 的概率测度集合 $\mathcal{D}_m$ 中存在极值分布。
• 对于 $n=2$，基于拉格朗日条件，将搜索空间缩小，证明极值分布的支撑形式必为 $\{s, t-s\}$ 或 $\{s, t-s, 1\}$，其中 $s$ 为某一定值。
• 通过求解均值约束并最大化二项尾部概率 $b(n,\pi,j)$（其中 $\pi$ 为成功概率），推导出二点分布 $\{a,b\}$ 的显式概率公式。
• 对于三点分布 $\{0,a,1\}$，应用拉格朗日线性条件：$(1-a)\mathbb{P}(t-a < S_{n-1} \leq t) = a\mathbb{P}(t-1 < S_{n-1} \leq t-a)$，导出关于概率的多项式方程。
• 构造候选极值分布的有限族：最多 $n$ 个二点分布和最多 $\binom{n}{2}$ 个三点分布，从中通过比较尾部概率选出最优者。

实验结果

研究问题

• RQ1 在 $[0,1]$ 上 i.i.d. 随机变量、均值为 $m$ 的条件下，使 $\mathbb{P}(S_n \leq t)$ 最大的分布是否总是仅在两个点上支撑，其中一个为 0 或 1？（如《SIAM Review》问题 86-6 所猜想）
• RQ2 在 $\mathbb{P}(X=1) = m$ 的伯努利分布是否总是使 $\mathbb{P}(S_n \leq t)$ 最优？（如《Statistica Neerlandica》问题 294 所声称）
• RQ3 对于 $n=2$，在均值约束 $\mathbb{E}[X_1] = m$ 下，使 $\mathbb{P}(S_2 \leq t)$ 最大的极值分布的确切形式是什么？
• RQ4 能否证明一般 $n$ 的极值分布最多有三个支撑点？若能，是否可对每个 $n$ 显式枚举这些分布？
• RQ5 是否存在一个有限的、可计算的候选分布族（包含二点和三点分布），使得对任意 $n$、$m$ 和 $t$，极值分布均包含在该族中？

主要发现

• 对于 $n=2$，极值分布总是离散的，其支撑点为以下四种之一：$\{0,t\}$、$\{t-1,1\}$、$\{t/2,1\}$ 或 $\{0,t,1\}$，具体取决于 $m$ 和 $t$，从而否定了两个原始猜想。
• 原始《SIAM Review》猜想被推翻：存在 $m$ 和 $t$ 的取值，使得极值分布具有三个支撑点（如 $\{0,t,1\}$），无法简化为二点分布。
• 《Statistica Neerlandica》猜想也被推翻：对任意 $p_0 < 1$，均存在 $n$、$t$ 和 $m$，使得二项概率 $b(n,m,t)$ 严格小于上确界 $p_n(m,t)$，即使 $p_n(m,t) \leq p_0$。
• 提出一个修订猜想：对任意 $n$，极值分布属于一个有限族，包含最多 $n$ 个二点分布和最多 $\binom{n}{2}$ 个三点分布 $\{0,a,1\}$，其中 $a = (t-l)/k$，$k,l$ 为整数且满足 $0 \leq l < t < l+k \leq n-1$。
• 对有限族中的每个候选分布，通过联立均值约束和拉格朗日线性条件，求解最优概率，得到关于成功概率 $p = \mathbb{P}(X=1)$ 的 $n-1$ 次多项式方程。
• 本文完整刻画了 $n=2$ 情形下的极值分布，表明上确界 $p(m,t)$ 由上述四种指定的离散分布之一实现，且最优选择可通过比较对应二项尾部概率得出。