[论文解读] A note on concentration of submodular functions

J. Vondrák|arXiv (Cornell University)|May 17, 2010

Mathematical Approximation and Integration参考文献 11被引用 33

一句话总结

本文利用自 bounded 函数的熵方法，为独立随机变量的子模函数和分式次可加函数建立了无维数浓度不等式。结果表明，这类函数的标准差为 $O(\sqrt{\mathbb{E}[f]})$，而非一般 1-利普希茨函数常见的 $O(\sqrt{n})$，从而在高维设置下实现了更紧致的尾部界限。

ABSTRACT

We survey a few concentration inequalities for submodular and fractionally subadditive functions of independent random variables, implied by the entropy method for self-bounding functions. The power of these concentration bounds is that they are dimension-free, in particular implying standard deviation O(\sqrt{\E[f]}) rather than O(\sqrt{n}) which can be obtained for any 1-Lipschitz function of n variables.

研究动机与目标

• 为独立随机变量下的子模函数和分式次可加函数建立精确的浓度不等式。
• 证明这些函数具有无维数浓度性质，其标准差按 $O(\sqrt{\mathbb{E}[f]})$ 而非 $O(\sqrt{n})$ 缩放。
• 阐明自 bounded 函数与子模/分式次可加函数之间的联系，该联系在以往工作中被忽视。
• 利用 $(a,b)$-自 bounded 框架，为非单调子模函数提供更紧致的尾部界限。
• 表明一般次可加函数不具有类似的浓度性质，并通过反例说明其局限性。

提出的方法

• 利用自 bounded 函数的熵方法推导浓度界限。
• 使用 $(a,b)$-自 bounded 函数的定义，将浓度结果推广至非单调子模函数之外。
• 应用自 bounded 性质，证明非负子模函数若其边际值在 $[-1,1]$ 范围内，则为 $(2,0)$-自 bounded。
• 通过一般 $(a,b)$-自 bounded 函数不等式，代入 $a=2$，$b=0$，$c=5/6$ 推导尾部界限。
• 构造反例以证明次可加函数不满足 $(a,b)$-自 bounded 性质，且缺乏类似的浓度特性。
• 利用中心极限定理分析反例函数的行为，证明其缺乏紧致浓度。

实验结果

研究问题

• RQ1 能否证明子模函数和分式次可加函数的标准差为 $O(\sqrt{\mathbb{E}[f]})$ 而非 $O(\sqrt{n})$ 的浓度性质？
• RQ2 自 bounded 函数与子模/分式次可加函数之间存在何种关系？
• RQ3 非单调子模函数是否表现出无维数浓度？
• RQ4 与一般 1-利普希茨函数相比，能否为非单调子模函数导出更紧致的尾部界限？
• RQ5 尽管次可加函数是 1-利普希茨的，为何它们不具有类似的浓度性质？

主要发现

• 非负子模函数若其边际值在 $[-1,1]$ 范围内，则满足 $\Pr[Z \geq (1+\delta)\mathbb{E}[Z]] \leq e^{-\delta^2 \mathbb{E}[Z]/(4 + 5\delta/3)}$ 与 $\Pr[Z \leq (1-\delta)\mathbb{E}[Z]] \leq e^{-\delta^2 \mathbb{E}[Z]/4}$。
• 当 $\delta$ 较大时，上尾部以简单指数形式衰减，这比单调函数的切尔诺夫型界限弱。
• 边际值在 $[0,1]$ 范围内的分式次可加函数是自 bounded 的，因此具有无维数浓度性质。
• 非单调子模函数为 $(2,0)$-自 bounded，从而可应用一般 $(a,b)$-自 bounded 浓度界限。
• 构造的次可加函数其边际值在 $[0,1]$ 范围内，但对任意常数 $a,b$ 均不满足 $(a,b)$-自 bounded 性质，且其标准差为 $\Theta(\sqrt{n})$，表明其缺乏紧致浓度。
• 次可加函数满足较弱的浓度不等式：$\Pr[Z \geq (q+1)a + k] \leq \Pr[Z \leq a]^{-q} q^{-k}$，当 $a$ 为中位数且 $q=2$ 时，可推出 $\Pr[Z \geq 3a + k] \leq 2^{2-k}$。