[論文レビュー] Concentration inequalities for sums of random variables, each having power bounded tails

Oleksii Omelchenko, Andreĭ A. Bulatov|arXiv (Cornell University)|Mar 6, 2019

Limits and Structures in Graph Theory参考文献 15被引用数 4

ひとこと要約

本稿は、各変数の尾部がべき関数 $x^{-\alpha}$ によって支配される独立な整数値をとる確率変数の和について、集中不等式を確立する。$\alpha > 1$ のとき、和は高確率でその平均のまわりにきつく集中し、偏差バウンドが $O(n^{\max(1/\alpha, 1/2)})$ に達する。$\alpha \leq 1$ のとき、和は有限の期待値を持たないが、依然として高確率で $O(n^{1/\alpha})$ の範囲に集中する。

ABSTRACT

In this work we present concentration inequalities for the sum $S_n$ of independent integer-valued not necessary indentically distributed random variables, where each variable has tail function that can be bounded by some power function with exponent $-α$. We show that when $01$, then the sum $S_n$ is concentrated around its mean. Since the r.vs. that constitute the sum has tails, which can be bounded by some power function, it follows that results of this paper are applicable to a wide range of different distributions, including the exponentially decaying ones.

研究の動機と目的

• 個々の変数の尾部がべき関数によって有界である独立で同一分布でない整数値確率変数の和の集中バウンドを導出すること。
• 高次モーメント（例：分散や期待値）が存在しない重尾分布に対して、コンピュータサイエンス分野で不足している集中ツールを補完すること。
• 組合せ的問題（例：ランダム充足可能性問題）における実用的応用を念頭に、既存の確率論的結果を単純化・離散化すること。
• 個々の変数がべき則に類する尾部減衰を示す場合に、明示的かつ実用的な尾部バウンドを提供すること。特に、1次または2次モーメントが無限大である場合を含む。

提案手法

• 整数値確率変数 $X$ に対して、右尾関数 $F_{X+}(x) = \Pr[X \geq x]$ および左尾関数 $F_{X-}(x) = \Pr[X \leq -x]$ を定義する。
• 各変数の尾部がべき関数によって上から支配されることを仮定する：$F_{X_i+}(x) \leq V x^{-\alpha_r}$、$F_{X_i-}(x) \leq W x^{-\alpha_\ell}$、ただし $\alpha_r, \alpha_\ell > 0$。
• モーメント母関数の技法と指数的チフトによるきめ細かい尾部推定を用い、$\mathcal{K}(\mu, x) = \mathbb{E}[e^{\mu S_n} \mathbf{1}_{S_n \geq \mathbb{E}S_n + x}]$ をバウンドする。
• 最適化された $\mu$ を用いたチェルノフ型バウンドを適用し、べき則尾部仮定を活用して尾部減衰率を導出する。
• 個々の変数の尾部バウンドを結合し、和集合バウンドと指数モーメント制御を用いて、高確率での偏差不等式を導出する。
• 対称性と変換（例：$X_i' = -X_i$）を用いて、右尾部結果を平均からの左尾部バウンドに拡張する。

実験結果

リサーチクエスチョン

• RQ1 個々の変数の尾部が指数 $\alpha \leq 1$ のべき関数で有界である独立な整数値確率変数の和に対して、どのような集中行動が現れるか？
• RQ2 重尾により1次または2次モーメントが存在しない場合、和のための集中不等式をどのように導出できるか？
• RQ3 特に組合せ的問題に一般的に見られる非i.i.d.設定において、べき尾部成分をもつ和に対して、よりタイトで実用的な集中バウンドを導出可能か？
• RQ4 $\alpha > 1$ のとき、このような和の高確率での偏差スケールは何か？また、それは $\alpha$ にどのように依存するか？
• RQ5 既存の一般化された確率論的集中結果を、離散的・組合せ的応用に適応・簡素化できる範囲はどの程度か？

主な発見

• $\alpha_r \leq 1$ のとき、和 $S_n$ は有限の期待値を持たないが、任意の $\epsilon > 0$ に対して高確率で $|S_n| = O(n^{1/\alpha_r + \epsilon})$ であり、尾部確率は $(V + e^{2V})n^{-\alpha_r \epsilon}$ でバウンドされる。
• $\alpha_r, \alpha_\ell > 1$ のとき、和 $S_n$ は有限の平均を持ち、平均からの偏差は高確率でバウンドされる：$\Pr[|S_n - \mathbb{E}S_n| \geq n^{\max(1/\alpha, 1/2) + \epsilon}] \leq Vn^{1 - \max(1, \alpha/2) - \alpha\epsilon} + e^{2V}n^{-\alpha\epsilon}$、ここで $\alpha = \min(\alpha_r, \alpha_\ell)$。
• 右尾部のバウンドは、指数モーメント法とモーメントパラメータ $\mu$ の最適化により導出され、$\mathcal{K}(\mu, x)$ を通じてタイトな尾部制御が達成される。
• 左尾部は対称性により分析される：$X_i$ を $-X_i$ に変換し、右尾部結果を適用することで、定数 $W$ を用いた類似したバウンドが得られる。
• 系4では、$\alpha > 1$ のi.i.d.変数に対して、ある定数 $C > 0$ に対して高確率で $|S_n - \mathbb{E}S_n| \leq Cn^{\max(1/\alpha, 1/2)}$ が成り立つことが示される。
• 結果は指数的減衰とべき則尾部をもつ広範な分布のクラスに適用可能であり、実世界および組合せ的モデルにおいて有用である。