[论文解读] A Linear Programming Inequality with Applications to Concentration of Measure

Leonid Kontorovich|ArXiv.org|Oct 24, 2006

Markov Chains and Monte Carlo Methods参考文献 6被引用 3

一句话总结

本文提出了一种新颖的线性规划不等式，该不等式以递归定义的泛函为条件，界定了加权哈密顿度量下函数的对偶范数，从而为具有任意正权重的依赖随机变量提供了更紧致的测度集中界。关键贡献是将先前关于鞅差分的不等式推广至加权设置，进而为乘积空间上利普希茨函数提供了改进的指数尾部界。

ABSTRACT

We prove an elementary yet useful inequality bounding the maximal value of certain linear programs. This leads directly to a bound on the martingale difference for arbitrarily dependent random variables, providing a generalization of some recent concentration of measure results. The linear programming inequality may be of independent interest.

研究动机与目标

• 推导一个通用的线性规划不等式，以在加权哈密顿度量下界定有限乘积空间上函数的对偶范数。
• 将先前针对鞅差分的测度集中结果推广至任意正权重向量，推广先前工作中未加权的结果。
• 通过递归泛函范数提供一个统一框架，以界定向依结构下利普希茨函数的方差。
• 为利普希茨函数偏离其均值的偏差建立一个紧致的指数尾部界，适用于任意依赖的随机变量。

提出的方法

• 引入一个递归泛函 $\Psi_{w,n}(\kappa)$，该泛函通过坐标上的递归投影计算函数值非负部分的加权和。
• 定义两个关键范数：$\Phi_{w}$-范数为在加权哈密顿度量下，与1-利普希茨函数内积的上确界；$\Psi_{w}$-范数为函数符号翻转下 $\Psi_{w,n}$ 的最大值。
• 通过归纳法证明不等式 $\|\kappa\|_{\Phi,w} \leq \|\kappa\|_{\Psi,w}$，利用函数空间上边缘投影与截面算子的性质。
• 将该不等式应用于推导鞅差分方差的界，通过将方差与编码条件依赖关系的矩阵 $\Delta_n$ 的 $\ell_2$-范数关联起来。
• 使用矩阵 $\Delta_n$，其元素为 $\bar{\eta}_{ij}$，表示条件依赖强度，将方差界表达为 $\|\Delta_n w\|_2^2$ 的形式。
• 通过有界差分法推导出浓度不等式，表明偏差概率以 $t^2 / (\|f\|_{\text{Lip},w}^2 \|\Delta_n\|_2^2 \|w\|_2^2)$ 的指数形式衰减。

实验结果

研究问题

• RQ1 能否建立一个通用的线性规划不等式，使得在加权哈密顿度量下，对偶范数的界独立于底层概率测度？
• RQ2 如何通过编码于矩阵 $\Delta_n$ 中的依赖结构，以 $\Delta_n$ 表示任意依赖随机变量的鞅差分方差？
• RQ3 与现有针对乘积空间上非独立同分布分量的利普希茨函数的浓度界相比，该新不等式在多大程度上实现了改进？
• RQ4 递归泛函 $\Psi_{w,n}$ 是否可用于推导具有任意权重和依赖关系的函数的紧致、可计算的方差界？
• RQ5 从无权重推广到加权哈密顿度量时，是否保持了浓度不等式中的指数尾部衰减？

主要发现

• 对所有 $w \in \mathbb{R}_+^n$ 和所有 $\kappa \in K_n$，不等式 $\|\kappa\|_{\Phi,w} \leq \|\kappa\|_{\Psi,w}$ 成立，为加权哈密顿度量下函数的对偶范数提供了紧致界。
• 鞅差分序列的方差满足 $\sum_{i=1}^n \bar{V}_i^2(f) \leq \|f\|_{\text{Lip},w}^2 \|\Delta_n w\|_2^2$，其中 $\Delta_n$ 编码了变量之间的条件依赖强度。
• 对任意 $f: \mathcal{S}^n \to \mathbb{R}$，尾部概率满足 $\mathbf{P}\{ |f - \mathbf{E}f| > t \} \leq 2\exp\left(-\frac{t^2}{2\|f\|_{\text{Lip},w}^2 \|\Delta_n\|_2^2 \|w\|_2^2}\right)$，将先前结果推广至加权设置。
• 该界具有紧致性，即当 $w_i \equiv 1$ 时退化为已知的无权重结果，并可自然推广至可数状态空间。
• 由于 $\Psi_{w,n}$ 的递归结构，可高效计算该范数，并可在无需独立性假设的情况下推导出方差界。
• 该方法通过矩阵 $\Delta_n$ 系统性地将任意依赖结构纳入浓度不等式，$\Delta_n$ 捕获了变量之间的条件期望。