[论文解读] Concentration Inequalities for Multinoulli Random Variables

Jian Qian, Ronan Fruit+2 more|arXiv (Cornell University)|Jan 30, 2020

Bayesian Methods and Mixture Models参考文献 5被引用 5

一句话总结

本文挑战了关于多项分布随机变量的广泛引用的集中不等式，表明经验分布与真实分布之间的 $\varepsilon$-偏差在期望下按 $O(\sqrt{S})$ 刻画，并且即使在高维情况下也紧密集中在该值附近。通过渐近分析和正交变换的高斯近似，证明了诸如Agrawal和Jia（2017）所声称的维度无关界是无效的，因为偏差随维度的平方根 $S$ 增大而增长。关键贡献在于，在均匀性条件下，为多项分布的 $\ell_1$-偏差建立了精确的、依赖维度的集中不等式。

ABSTRACT

We investigate concentration inequalities for Dirichlet and Multinomial random variables.

研究动机与目标

• 调查关于多项分布随机变量的维度无关集中不等式的有效性，特别是那些声称 $\ell_1$-偏差界与维度 $S$ 无关的不等式。
• 分析在均匀 $p$ 下，经验与真实多项分布之间差值的 $\ell_1$-范数的渐近行为。
• 确定最大偏差 $Z_n = \max_v (\widehat{p}_n - p)^T v$ 是否在高维下集中在与 $S$ 无关的值附近。
• 严格推导出反映维度 $S$ 真正依赖关系的 $Z_n$ 的尖锐集中不等式。

提出的方法

• 使用泛函中心极限定理刻画当 $n \to \infty$ 时 $\sqrt{n} Z_n$ 的极限分布，表明其收敛于一个截断的高斯向量。
• 应用正交变换 $U$ 对极限高斯向量 $Y$ 的分量去相关，将其转化为前 $S-1$ 个分量为独立同分布标准正态的向量 $W$。
• 定义 1--Lipschitz 函数 $g(W) = \frac{1}{\sqrt{S}} e_S^T (U^T W)^+$ 以表示极限下的 $Z_S$，从而通过高斯集中性进行分析。
• 利用高斯集中不等式（Wainwright, 2017）推导出 $Z_S$ 的下尾界，表明所有分位数均按 $O(\sqrt{S})$ 增长。
• 推导出精确的渐近期望 $\mathbb{E}[Z_S] = \sqrt{\frac{S-1}{2\pi}}$，确认了 $\sqrt{S}$ 的缩放关系。
• 利用 $\|\widehat{p}_n - p\|_1 = \frac{2}{D} Z_n$ 将结果转换回经验偏差的 $\ell_1$-范数。

实验结果

研究问题

• RQ1 Agrawal和Jia（2017）提出的集中不等式是否有效？该不等式声称对所有 $\delta \in (0,1)$，有 $\mathbb{P}(\|\widehat{p}_n - p\|_1 \geq \sqrt{2 \ln(1/\delta)/n}) \leq \delta$。
• RQ2 经验与真实多项分布之间的 $\ell_1$-偏差是否与维度 $S$ 无关？
• RQ3 当 $n \to \infty$ 时，$\mathbb{E}[\|\widehat{p}_n - p\|_1]$ 在均匀 $p$ 下的渐近行为如何？
• RQ4 能否在高维下精确刻画 $Z_n = \max_v (\widehat{p}_n - p)^T v$ 的集中性？

主要发现

• 极限随机变量 $Z_S = \lim_{n \to \infty} \sqrt{n} Z_n$ 的期望值按 $\sqrt{\frac{S-1}{2\pi}}$ 增长，确认了其与维度 $S$ 的 $O(\sqrt{S})$ 依赖关系。
• 极限随机变量 $Z_S$ 紧密集中在其均值附近，以高概率落在均值的 $O(\sqrt{\log(1/\delta)})$ 范围内。
• 本文证明了 $\mathbb{P}\left(Z_S \geq \sqrt{\frac{2(S-1)}{\pi}} - \sqrt{2 \log(2/\delta)} \right) \geq 1 - \delta$，表明所有分位数均按 $O(\sqrt{S})$ 增长。
• Agrawal和Jia（2017）的不等式无效，因为它未能考虑偏差的 $\sqrt{S}$ 缩放，而这种缩放在均匀 $p$ 下是不可避免的。
• 经验偏差 $\|\widehat{p}_n - p\|_1$ 的 $\ell_1$-范数在期望下按 $\Theta(\sqrt{S/n})$ 缩放，而非如维度无关界所声称的 $O(1/\sqrt{n})$。
• 该分析确认，一般情况下多项分布 $\ell_1$-偏差的维度无关集中不等式并不成立，尤其是在均匀 $p$ 条件下。