[论文解读] Concentration Inequalities for Bounded Random Vectors

Xinjia Chen|arXiv (Cornell University)|Aug 30, 2013

Probability and Risk Models参考文献 2被引用 6

一句话总结

本文推导了有界随机向量的多变量浓度不等式，将霍夫丁不等式推广至受限于概率单纯形的向量值随机变量。主要贡献在于：在部分序约束下，给出了经验均值向量偏离其期望的尾部概率的紧上界，该上界以涉及均值向量与阈值向量的似然比的乘积形式表达。

ABSTRACT

We derive simple concentration inequalities for bounded random vectors, which generalize Hoeffding's inequalities for bounded scalar random variables. As applications, we apply the general results to multinomial and Dirichlet distributions to obtain multivariate concentration inequalities.

研究动机与目标

• 推导在分量和至多为1且非负的多变量设定下，有界随机向量的尖锐浓度不等式。
• 将标量浓度不等式（如霍夫丁不等式）扩展至具有单纯形约束的向量值随机变量。
• 提供经验均值向量偏离其期望的尾部概率的可计算上界。
• 将一般结果应用于多项分布和狄利克雷分布等具体分布，以支持多变量统计模型中的概率分析。

提出的方法

• 通过平移和缩放将有界随机向量转化为位于概率单纯形内的向量，从而在单纯形约束下进行分析。
• 使用带指数倾斜的多变量马尔可夫不等式，以界经验均值向量的尾部概率。
• 应用变分优化技术，通过选择由阈值向量导出的最优拉格朗日乘子，最小化指数界。
• 通过函数 $ \mathscr{M}(t_1,\dots,t_k) = -\sum_{\ell=1}^k t_\ell z_\ell + \ln\left[\mu_0 + \sum_{\ell=1}^k \mu_\ell \exp(t_\ell)\right] $ 推导临界界，该函数在特定 $ t_\ell $ 值处取得最小值。
• 证明最优 $ t_\ell = \ln\left(\frac{z_\ell \mu_0}{z_0 \mu_\ell}\right) $ 在 $ \boldsymbol{z} \leq \boldsymbol{\mu} $ 条件下可给出最紧的界。
• 利用对数矩生成函数的凸性与詹森不等式，证明界 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \leq \boldsymbol{z}\} \leq \prod_{\ell=0}^k \left(\frac{\mu_\ell}{z_\ell}\right)^{n z_\ell} $。

实验结果

研究问题

• RQ1 如何将霍夫丁型浓度不等式扩展至有界于单纯形内的多变量随机向量？
• RQ2 在部分序意义下，经验均值向量偏离其期望的概率的最紧可能上界是什么？
• RQ3 所推导的不等式能否有效应用于经典多变量分布（如多项分布和狄利克雷分布）？
• RQ4 在多变量情况下，使界最小化的指数倾斜参数的最优选择是什么？
• RQ5 单纯形约束的结构如何影响所得浓度不等式的形态与紧致性？

主要发现

• 本文建立了多变量浓度不等式：当 $ \boldsymbol{z} \leq \boldsymbol{\mu} $ 时，有 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \leq \boldsymbol{z}\} \leq \prod_{\ell=0}^k \left(\frac{\mu_\ell}{z_\ell}\right)^{n z_\ell} $，该不等式推广了霍夫丁的标量不等式。
• 该界通过指数倾斜与拉格朗日乘子的优化推导得出，最优 $ t_\ell $ 值明确给出为 $ \ln\left(\frac{z_\ell \mu_0}{z_0 \mu_\ell}\right) $。
• 该不等式在每个随机向量的分量和至多为1且非负的条件下成立，刻画了自然的多变量约束。
• 对于多项分布，该界可直接应用于经验频率向量，提供对偏离真实概率向量的尾部概率界。
• 对于狄利克雷分布，该界应用于后验均值，为共轭先验下的贝叶斯估计提供了浓度结果。
• 所推导的界是紧致的，其指数形式与 Kullback-Leibler 散度一致，表明在大样本渐近下具有最优性。