[论文解读] Concentration Inequalities for the Empirical Distribution

Jay Mardia, Jiantao Jiao+3 more|arXiv (Cornell University)|Sep 18, 2018

Markov Chains and Monte Carlo Methods参考文献 13被引用 8

一句话总结

本文提出了一种改进的 Kullback–Leibler (KL) 散度集中不等式，用于离散随机变量的经验分布与真实分布之间，采用一种基于递归的新技术，其性能在所有样本大小和字母表大小下均优于经典类型法。关键贡献在于，KL 散度的方差界更紧，其尺度为 $\min\left(\frac{6(\log k + 3)^2}{n}, C\frac{k}{n^2}\right)$，显著提升了非渐近性能，尤其是在字母表大小 $k$ 较大时。

ABSTRACT

We study concentration inequalities for the Kullback--Leibler (KL) divergence between the empirical distribution and the true distribution. Applying a recursion technique, we improve over the method of types bound uniformly in all regimes of sample size $n$ and alphabet size $k$, and the improvement becomes more significant when $k$ is large. We discuss the applications of our results in obtaining tighter concentration inequalities for $L_1$ deviations of the empirical distribution from the true distribution, and the difference between concentration around the expectation or zero. We also obtain asymptotically tight bounds on the variance of the KL divergence between the empirical and true distribution, and demonstrate their quantitatively different behaviors between small and large sample sizes compared to the alphabet size.

研究动机与目标

• 解决在样本大小 $n$ 并不大于字母表大小 $k$ 的非渐近区域中，类型法的局限性。
• 为离散分布中经验分布与真实分布之间的 KL 散度推导改进的集中不等式。
• 提供 KL 散度方差的更紧界，以反映小样本与大样本区域下的不同行为。
• 通过 Pinsker 不等式和改进的 KL 集中性，实现更紧的 $L_1$ 偏差界。

提出的方法

• 开发了一种递归技术，将 $k$-维问题简化为更小的 $k-1$ 情况，从而实现更紧的方差界。
• 该方法使用条件概率和链式法则分解 KL 散度，并递归控制其矩。
• 通过矩计算和多项分布的性质推导方差界，对交叉项实现显式控制。
• 该方法利用凸性及积分不等式（如 Jensen 不等式）来界定离散分布上凸函数之和。
• 计算了 KL 散度指数矩的解析界，特别针对二元和一般 $k$-元情形。
• 在泊松化模型中建立了渐近方差下界，以确认所推导上界的紧致性。

实验结果

研究问题

• RQ1 在 $n$ 与 $k$ 相当或 $k$ 较大的非渐近区域中，如何改进类型法对 KL 散度的界？
• RQ2 KL 散度方差对 $n$ 和 $k$ 的正确非渐近依赖关系是什么？
• RQ3 能否利用改进的 KL 界推导出经验分布与真实分布之间 $L_1$ 偏差的更紧集中不等式？
• RQ4 KL 散度方差在样本大小相对于字母表大小较小或较大时的行为有何不同？
• RQ5 所推导的 KL 散度方差界是否渐近紧致？

主要发现

• 所提出的方法在所有 $n$ 与 $k$ 的情形下均统一优于类型法，且随着 $k$ 增大，改进效果更加显著。
• KL 散度的方差被界为 $\min\left(\frac{6(\log k + 3)^2}{n}, C\frac{k}{n^2}\right)$，在 $k$ 较大时优于类型法。
• 对于二元分布（$k=2$），建立了界 $\mathbb{P}(D(\hat{P}_{n,2}\|P) \geq \epsilon) \leq 2e^{-n\epsilon}$，优于类型法所得的 $(n+1)e^{-n\epsilon}$ 界。
• 证明了渐近方差下界为 $\lim_{n\to\infty} 4n^2 \mathsf{Var}[D(\hat{P}_{n,k}\|P)] \geq 2(k-1)$，确认了 $k/n^2$ 的缩放是紧致的。
• 本文表明，KL 散度的方差在小样本与大样本区域表现出定性不同的行为，具有不同的标度规律。
• 所推导的界被用于通过 Pinsker 不等式改进 $L_1$ 偏差不等式，从而实现经验分布估计的更紧集中性。