[論文レビュー] Exact value for subgaussian norm of centered indicator random variable

E. Ostrovsky, L. Sirota|arXiv (Cornell University)|May 26, 2014

Statistical Mechanics and Entropy参考文献 7被引用数 18

ひとこと要約

この論文は、中心化されたインジケータ（ベルヌーイ）確率変数の正確なサブガウスノルムを導出し、$||\eta_p||_{ ext{Sub}} = Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}}$ が $p \in (0,1)$ に対して成り立つことを証明している。この結果により、独立で同一分布でないインジケータの和に対する鋭い尾確率バウンドがサブガウスノルム集中不等式を用いて得られ、特に $p = 1/2$ の対称ケースではバウンドが改善不能であることが示された。

ABSTRACT

We calculate the exact subgaussian norm of a centered (shifted) indicator (Bernoulli's) random variable. Using this result we derive very simple tail estimates for sums of these variables, not necessary to be identical distributed, and give some examples to show the exactness of our estimates.

研究の動機と目的

• 中心化されたインジケータ（ベルヌーイ）確率変数 $\eta_p = I(A(p)) - p$ の正確なサブガウスノルムを計算すること。
• 導出されたノルムを用いて、独立で同一分布でないインジケータ確率変数の和に対する鋭い尾確率バウンドを確立すること。
• 特に $p = 1/2$ の対称ケースにおいて、得られた集中不等式の最適性を明示的な例を通じて示すこと。
• 非漸近統計および高次元確率における改善された集中不等式の基礎を提供すること。

提案手法

• 中心化インジケータ変数 $\eta_p = I(A(p)) - p$ を定義し、確率 $p$ で値 $1-p$、確率 $1-p$ で値 $-p$ を取り、$\mathbb{E}[\eta_p] = 0$ を満たすようにする。
• サブガウスノルムの定義を用いる：$||\eta_p||_{\text{Sub}} = \sup_{\lambda \neq 0} \sqrt{\ln \mathbb{E}[e^{\lambda \eta_p}]}/|\lambda|$。
• モーメント母関数を導出する：$\mathbb{E}[e^{\lambda \eta_p}] = p e^{\lambda(1-p)} + (1-p) e^{-\lambda p}$。
• すべての $\lambda \in \mathbb{R}$ に対して不等式 $\mathbb{E}[e^{\lambda \eta_p}] \leq e^{Q^2(p) \lambda^2}$ が成り立つことを証明し、$Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}}$ とする。
• 上界を達成するため、$\lambda_0 = 2\ln\left(\frac{1-p}{p}\right)$ で上限を評価することで逆不等式を確立し、$||\eta_p||_{\text{Sub}} \geq Q(p)$ を示す。
• サブガウスノルムに対する三角不等式を用いて、独立で重み付き中心化インジケータの和への結果を拡張する：$||\sum c_j \eta_{p(j)}||_{\text{Sub}} \leq \sum |c_j| Q(p(j))$。

実験結果

リサーチクエスチョン

• RQ1 中心化インジケータ確率変数 $\eta_p = I(A(p)) - p$ の正確なサブガウスノルムは何か？
• RQ2 正確なサブガウスノルムは、独立で同一分布でないインジケータ確率変数の和に対する鋭い尾確率バウンドをどのように導出できるか？
• RQ3 特定のパrameter領域、特に $p = 1/2$ において、導出された尾バウンドは最適性の意味で改善不能か？
• RQ4 独立で中心化されたインジケータの和のサブガウスノルムは、その成分の個々のノルムを用いてバウンド可能か？また、そのバウンドはタイトか？

主な発見

• 中心化インジケータ変数 $\eta_p$ の正確なサブガウスノルムは、$p \in (0,1)$ に対して $||\eta_p||_{\text{Sub}} = Q(p) = \sqrt{\frac{1-2p}{4\ln((1-p)/p)}}$ であり、$Q(0^+) = Q(1^-) = 0$ である。
• 和 $S(n) = \sum_{i=1}^n \zeta(i)$ に対して、$W(n) = \sqrt{\sum_{i=1}^n Q^2(p(i))}$ とおくと、尾バウンド $\max[\mathbb{P}(S(n) > x), \mathbb{P}(S(n) < -x)] \leq \exp(-x^2 / (4W^2(n)))$ が成り立ち、このバウンドは改善不能である。
• 対称ケース $p = 1/2$ では、$Q(1/2) = \sqrt{1/8} = 1/(2\sqrt{2})$ であり、古典的ホイーディング不等式と定数の違いを除いて一致する。
• $p = 1/2$ の場合、正規化された和 $S(n)/\sqrt{n}$ は $\sup_n ||S(n)/\sqrt{n}||_{\text{Sub}} = Q(1/2) = \sqrt{1/8}$ を満たし、バウンドのタイトさが確認される。
• 選択された $\lambda_0 = 2\ln\left(\frac{1-p}{p}\right)$ がサブガウスノルム定義における上限を達成し、$||\eta_p||_{\text{Sub}} = Q(p)$ が確認される。
• 任意の有限または無限個の独立で重み付き中心化インジケータの和について、$||\sum c_j \eta_{p(j)}||_{\text{Sub}} \leq \sum |c_j| Q(p(j))$ が成り立ち、対称ケースでは極限で等号が成立する。