[論文レビュー] The Bernstein-Orlicz norm and deviation inequalities

Sara van de Geer, Johannes Lederer|arXiv (Cornell University)|Nov 10, 2011

Statistical Mechanics and Entropy参考文献 8被引用数 1

ひとこと要約

本稿では、サブガウス型とサブエクスポネンシャル型の尾挙動の間を滑らかに補間する新しいオーリツ norm、Bernstein-Orlicz norm を導入する。この norm により、確率変数の上限に関する分散不等式の導出が簡素化される。また、木構造に沿ったチェインジングとジェネリック・チェインジングを構築し、古典的手法を単純化するとともに、一様 Bernstein 条件の下で有界でない確率過程についての分散不等式を確立する。その際、新しい norm と bracketing を用いたエントロピーに基づく明示的で明確な境界が得られる。

ABSTRACT

We introduce two new concepts designed for the study of empirical processes. First, we introduce a new Orlicz norm which we call the Bernstein-Orlicz norm. This new norm interpolates sub-Gaussian and sub-exponential tail behavior. In particular, we show how this norm can be used to simplify the derivation of deviation inequalities for suprema of collections of random variables. Secondly, we introduce chaining and generic chaining along a tree. These simplify the well-known concepts of chaining and generic chaining. The supremum of the empirical process is then studied as a special case. We show that chaining along a tree can be done using entropy with bracketing. Finally, we establish a deviation inequality for the empirical process for the unbounded case.

研究の動機と目的

• サブガウス型とサブエクスポネンシャル型の尾挙動を統一的に扱える新しいオーリツ norm を構築し、確率過程の解析を改善すること。
• 新しい norm を用いて、確率変数の上限に関する分散不等式の導出を簡素化すること。
• 最大不等式のための概念的に単純なチェインジングおよびジェネリック・チェインジングの枠組みを、木構造に沿って提示すること。
• 一様 Bernstein 条件の下で、一様有界性を仮定しない関数族によってインデックス付けられた確率過程について、分散不等式を確立すること。
• エントロピーと bracketing を用いたチェインジングが、木構造に沿ったチェインジングとして効果的に実装可能であることを示すこと。

提案手法

• パrameter $L$ に応じてサブガウス型とサブエクスポネンシャル型の挙動を補間する関数 $\Psi_L(z) = \left(\exp\left(\frac{\sqrt{1 + 2Lz} - 1}{L}\right)\right)^2 - 1$ を用いて Bernstein-Orlicz norm を定義する。
• Chebyshev の不等式を用いて、逆関数 $\Psi_L^{-1}(t) = \sqrt{\log(1 + t)} + \frac{L}{2}\sqrt{\log(1 + t)}$ を用いて尾の境界を導出する。
• 新しい norm を用いて、有限個の確率変数の最大値の期待値および可算集合上の上限に関する境界を導出する。
• 木構造に沿ったチェインジングおよびジェネリック・チェインジングを導入し、被覆列の構築を単純化する。
• エントロピーと bracketing を用いることで、木構造に沿ったチェインジングが可能であり、確率過程の上限を制御できることを確立する。
• 新しい norm と木構造に沿ったチェインジングを用いて、一様 Bernstein 条件の下で、有界でない場合の確率過程についての分散不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 同一の norm を用いて、サブガウス型とサブエクスポネンシャル型の尾挙動を統一的な枠組みで捉える方法は何か？
• RQ2 チェインジングおよびジェネリック・チェインジングは、木構造に基づく再定式化によって、古典的手法を単純化できるか？
• RQ3 Bernstein-Orlicz norm は、確率変数の上限に関する分散不等式の導出をどの程度簡素化できるか？
• RQ4 新しい norm と木構造に沿ったチェインジングを用いて、有界でない確率過程についての分散不等式を確立できるか？
• RQ5 エントロピーと bracketing の使用は、新しいチェインジング枠組みが確率過程に与える影響は何か？

主な発見

• Bernstein-Orlicz norm $\|\cdot\|_{\Psi_L}$ は、Bernstein の不等式の本質を捉えており、独立な確率変数の和で Bernstein 条件を満たす場合、$\|Z\|_{\Psi_L} \leq \sqrt{6}\sigma$ が成り立つ。
• 各 $j$ について $\|Z_j\|_{\Psi_L} \leq \tau$ である $p$ 個の確率変数に対して、最大値の期待値は $\mathbb{E} \max_j |Z_j| \leq \tau \left(\sqrt{\log(1+p)} + \frac{L}{2}\sqrt{\log(1+p)}\right)$ を満たす。
• 木構造に沿ったチェインジングにより、エントロピーと bracketing を用いて、プロセスの上限を制御でき、古典的手法よりも単純化される。
• 確率過程の分散不等式は、$\mathbb{P}\left(\sup_{g \in G} |\nu_n(g)| \geq \min_S \bar{E}_S + 62K/\sqrt{n} + 24\sqrt{6} + 24\sqrt{6} \left(\sqrt{t} + \tilde{L}t/2\right)\right) \leq 2\exp[-t]$ として確立される。ここで $\tilde{L} = \sqrt{6}K/(2\sqrt{n})$ である。
• 中心化された上限の $\Psi_{\sqrt{3}\tilde{L}}$-norm は、$\left\| \left(\sup_G |\nu_n(g)| - \min_S \bar{E}_S - 62K/\sqrt{n} \right)^+ \right\|_{\Psi_{\sqrt{3}\tilde{L}}} \leq 72\sqrt{2}$ を満たし、鋭い集中不等式が得られる。