[論文レビュー] Subgaussian and strictly subgaussian random variable

E. Ostrovsky, L. Sirota|arXiv (Cornell University)|Jun 16, 2014

Image and Signal Denoising Methods参考文献 16被引用数 4

ひとこと要約

本稿では、サブガウスノルムが標準偏差に等しいサブガウス確率変数のクラスとして、厳密にサブガウス的（SSub）な確率変数を定義し、それらの性質を分析する。独立で同一分布でない場合を含め、独立なSSub確率変数の和に対して、正確な指数的尾部バウンドを提供する。主な貢献は、SSub確率変数の混合が再び厳密にサブガウス的であることを証明し、ガンマ関数の不等式とモーメント生成関数の分析を用いて、厳密サブガウス性の新たな十分条件を導出したことである。

ABSTRACT

We study in this report the so-called Strictly Subgaussian (SSub) random variables (r.v.), which form a very interest subclass of Subgaussian (Sub) r.v., and obtain the exact exponential bounds for tail of distribution for sums of independent and disjoint such a variables, not necessary to be identical distributed, and give some new examples of SSub variables to show the exactness of our estimates. We extend also these results on the case of sums of subgaussian martingale differences, and show that the mixture of (Strictly) Subgaussian r.v. forms also (Strictly) subgaussian variable.

研究の動機と目的

• サブガウス的確率変数の部分クラスとして、サブガウスノルムが標準偏差に等しい厳密にサブガウス的（SSub）な確率変数を定義し、その特徴づけを行うこと。
• 同一分布でない独立なSSub確率変数の和に対して、鋭い指数的尾部バウンドを導出すること。
• サブガウス的マルティングルの差分の和へ結果を拡張し、混合に対する閉包性を確立すること。
• 対称ガンマ分布や一様-ガウス混合など、新しい正確なSSub確率変数の例を提示し、導出されたバウンドのタイトネスを示すこと。

提案手法

• すべての $\lambda \in \mathbb{R}$ に対して $\mathbb{E}[e^{\lambda \xi}] \leq e^{\lambda^2 \sigma^2(\xi)/2}$ を満たす条件により、SSub確率変数を定義し、これにより $||\xi||_{\text{Sub}} = \sigma(\xi)$ が導かれる。
• モーメント生成関数の分析とスターリングの近似を用い、ガンマ関数比の観点から、厳密サブガウス性の十分条件を導出する。
• サブガウスノルムを用いて尾部バウンドを確立し、独立なSSub確率変数の和に対して、$\max(\mathbb{P}(S(n)/\Sigma(n) > x), \mathbb{P}(S(n)/\Sigma(n) < -x)) \leq e^{-x^2/2}$ が成り立つことを示す。
• 凸結合におけるMGF条件の検証により、SSub確率変数の混合が再びSSubであることを証明する。
• 特定の分布（対称ベータ、対称化ガンマ、一様-ガウス混合）を分析し、積分表現とガンマ関数の漸近的挙動を用いる。
• 関数 $\zeta_{\alpha,\beta}(k)$ を用いてサブガウス性をテストし、$\beta > 2$ のときすべての $k$ に対して $\zeta_{\alpha,\beta}(k) \leq 1$ が成り立つならば、厳密サブガウス性が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 サブガウス的確率変数がいつ厳密にサブガウス的になるか、すなわちサブガウスノルムが標準偏差に等しくなる条件は何か？
• RQ2 独立で同一分布でない厳密にサブガウス的確率変数の和に対して、正確な指数的尾部バウンドは何か？
• RQ3 厳密にサブガウス的確率変数のクラスは混合に関して閉じているか。もしそうなら、どのような条件下で？
• RQ4 対称化ガンマ分布が厳密にサブガウス的であるための必要十分条件は何か。形状母数とスケール母数にどのように依存するか？
• RQ5 尾部バウンド $e^{-x^2/2}$ のタイトネスは、有界でないサポートを持つ具体的な例を用いてどのように示せるか？

主な発見

• 確率 $\mathbb{P}(\xi_p = 1-p) = p$, $\mathbb{P}(\xi_p = -p) = 1-p$ を持つ中心化確率変数 $\xi_p$ のサブガウスノルムは $||\xi_p||_{\text{Sub}} = \sqrt{\frac{1-2p}{2\ln((1-p)/p)}}$ であり、離散的SSub確率変数の正確な表現が得られる。
• 任意のSSub確率変数 $\xi$ に対して、$\max(\mathbb{P}(\xi > x), \mathbb{P}(\xi < -x)) \leq e^{-x^2/(2\sigma^2(\xi))}$ が成り立ち、これは鋭いバウンドであり、ガウス分布の極限で等号に近づく。
• 独立なSSub確率変数 $\xi(i)$ の和 $S(n) = \sum_{i=1}^n \xi(i)$ に対して、$\Sigma(n)^2 = \sum_{i=1}^n ||\xi(i)||_{\text{Sub}}^2$ とおくと、$\max(\mathbb{P}(S(n)/\Sigma(n) > x), \mathbb{P}(S(n)/\Sigma(n) < -x)) \leq e^{-x^2/2}$ が成り立ち、最適な集中性が示される。
• SSub確率変数の混合は、MGF条件と指数関数の凸性の検証により、再び厳密にサブガウス的であることが証明される。
• 形状母数 $\alpha$、スケール母数 $\beta > 2$ を持つ対称化ガンマ確率変数 $\gamma_{\alpha,\beta}$ に対して、すべての $k \geq 1$ で $\zeta_{\alpha,\beta}(k) \leq 1$ が成り立つならば、厳密サブガウス性が成立する。$G = [(\max(1,G_1)) \cdot G_2]^{\beta/\left(\beta-2\right)}$ を用いた十分条件により、$k \geq G$ で $\zeta_{\alpha,\beta}(k) \leq 1$ が成り立つことが示される。
• $\alpha = \beta \to \infty$ のとき、$\sup_{k \geq 1} \zeta_{\beta,\beta}(k) \to 0$ となるため、十分大きな $\beta$ に対して $\gamma_{\beta,\beta}$ は厳密にサブガウス的であり、非ガウス的で有界でないサポートを持つSSub例が得られる。