[論文レビュー] A note on concentration of submodular functions

J. Vondrák|arXiv (Cornell University)|May 17, 2010

Mathematical Approximation and Integration参考文献 11被引用数 33

ひとこと要約

この論文は、自己有界関数のエントロピー法を用いて、独立な確率変数の下での部分加法的および分数的下位加法的関数に対する次元に依存しない集中不等式を確立する。このような関数は、一般の1リプシッツ関数に見られる $O(\sqrt{n})$ の境界ではなく、標準偏差 $O(\sqrt{\mathbb{E}[f]})$ を示すことが示され、高次元設定におけるより鋭い尾部境界を可能にする。

ABSTRACT

We survey a few concentration inequalities for submodular and fractionally subadditive functions of independent random variables, implied by the entropy method for self-bounding functions. The power of these concentration bounds is that they are dimension-free, in particular implying standard deviation O(\sqrt{\E[f]}) rather than O(\sqrt{n}) which can be obtained for any 1-Lipschitz function of n variables.

研究の動機と目的

• 独立な確率変数の下で部分加法的および分数的下位加法的関数に対する鋭い集中不等式を確立すること。
• これらの関数が、一般の $O(\sqrt{n})$ ではなく $O(\sqrt{\mathbb{E}[f]})$ のスケーリングを示す次元に依存しない集中を享受することを示すこと。
• 自己有界関数と部分加法的／分数的下位加法的関数の間の関係を明確にすること。これは先行研究で見過ごされていた。
• $(a,b)$-自己有界フレームワークを用いて、非単調部分加法的関数のより鋭い尾部境界を提供すること。
• 一般の下位加法的関数が同様の集中性質を享受しないこと、特にその限界を示す反例を提示すること。

提案手法

• 自己有界関数のエントロピー法を活用して集中境界を導出する。
• $(a,b)$-自己有界関数の定義を用いて、単調部分加法的関数にとどまらない集中結果を一般化する。
• 自己有界性を適用して、マージナル値が $[-1,1]$ の範囲にある非負の部分加法的関数が $(2,0)$-自己有界であることを示す。
• 一般の $(a,b)$-自己有界関数の不等式を用い、$a=2$、$b=0$、$c=5/6$ として尾部境界を導出する。
• 下位加法的関数が $(a,b)$-自己有界でないことを示す反例を構築し、同様の集中性質を欠くことを示す。
• 中心極限定理を用いて反例関数の挙動を分析し、その鋭い集中性質の欠如を示す。

実験結果

リサーチクエスチョン

• RQ1 部分加法的および分数的下位加法的関数が、一般の $O(\sqrt{n})$ ではなく $O(\sqrt{\mathbb{E}[f]})$ の標準偏差を示す集中性質を示せるか？
• RQ2 自己有界関数と部分加法的／分数的下位加法的関数の間の関係は何か？
• RQ3 非単調部分加法的関数は次元に依存しない集中性質を示すか？
• RQ4 一般の1リプシッツ関数よりも、非単調部分加法的関数に対してより鋭い尾部境界を導出できるか？
• RQ5 下位加法的関数は1リプシッツ関数であるにもかかわらず、なぜ同様の集中性質を享受しないのか？

主な発見

• マージナル値が $[-1,1]$ の範囲にある非負の部分加法的関数は、$\Pr[Z \geq (1+\delta)\mathbb{E}[Z]] \leq e^{-\delta^2 \mathbb{E}[Z]/(4 + 5\delta/3)}$ および $\Pr[Z \leq (1-\delta)\mathbb{E}[Z]] \leq e^{-\delta^2 \mathbb{E}[Z]/4}$ を満たす。
• 上側尾部は $\delta$ が大きい場合、単純な指数関数的に減少するが、これは単調関数のチェルノフ型境界よりも弱い。
• マージナル値が $[0,1]$ の範囲にある分数的下位加法的関数は自己有界であり、したがって次元に依存しない集中性質を享受する。
• 非単調部分加法的関数は $(2,0)$-自己有界であるため、一般の $(a,b)$-自己有界集中境界の適用が可能になる。
• マージナル値が $[0,1]$ の範囲にある下位加法的関数を構築したが、任意の定数 $a,b$ に対して $(a,b)$-自己有界でないことが示され、標準偏差が $\Theta(\sqrt{n})$ であることが判明し、鋭い集中性質を欠くことが示された。
• 下位加法的関数は弱い集中不等式 $\Pr[Z \geq (q+1)a + k] \leq \Pr[Z \leq a]^{-q} q^{-k}$ を満たす。$a$ が中央値で $q=2$ のとき、$\Pr[Z \geq 3a + k] \leq 2^{2-k}$ が成り立つ。