[論文レビュー] Tail bounds via generic chaining

Sjoerd Dirksen|arXiv (Cornell University)|Sep 13, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用数 13

ひとこと要約

本稿では、確率過程の上限のすべての $p$-次モーメントを直接的に評価するように変更された一般化チェイニング手法を導入し、最適な分散パrameterを備えた鋭い尾部バウンドを可能にする。この手法により、有界でない・相関のある経験過程およびカオス過程に対する改善された分散不等式が得られ、部分抽出された離散フーリエ変換に対する制限的等長性性質（RIP）の簡略化された証明が可能となる。

ABSTRACT

We modify Talagrand's generic chaining method to obtain upper bounds for all p-th moments of the supremum of a stochastic process. These bounds lead to an estimate for the upper tail of the supremum with optimal deviation parameters. We apply our procedure to improve and extend some known deviation inequalities for suprema of unbounded empirical processes and chaos processes. As an application we give a significantly simplified proof of the restricted isometry property of the subsampled discrete Fourier transform.

研究の動機と目的

• 一般化チェイニングを用いて、確率過程の上限の上側尾部バウンドを直接導出する方法を開発すること。
• 一般化チェイニングを拡張し、期待値だけでなく、上限のすべての $p$-次モーメントを推定すること。
• 有界でない・相関のある経験過程およびカオス過程に対する鋭い分散不等式を提供すること。
• 部分抽出された離散フーリエ変換に対する制限的等長性性質（RIP）の証明を簡略化すること。
• タラグランドの著書における、混合サブガウス型・サブ指数型過程の尾部バウンドに関する未解決問題に答えること。

提案手法

• すべての $p \geq 1$ に対して $\left(\mathbb{E}\sup_{t\in T}|X_t|^p\right)^{1/p}$ のバウンドを生成するように一般化チェイニング手順を変更する。
• メトリックの複雑さを測るための $\gamma_2$-関数の切り詰められた版、$\gamma_{2,p}$ を導入する。
• $p$-次モーメントにマーカフの不等式を適用し、最適な分散パrameterを備えた尾部バウンドを導出する。
• 指数的に減少する増分を有する過程および混合サブガウス型・サブ指数型尾部を有する過程にこの手法を適用する。
• イベントの和集合およびサブ指数型尾部に関する尾部確率とモーメントバウンドに関する補助的補題を活用する。
• $L^p$-バウンドを用いて、$\mathbb{P}(\sup_t |X_t| \geq C\gamma_2(T,d) + uD\sigma) \leq e^{-u^2/2}$（$u \geq 1$）の形の尾部不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般化チェイニングを、確率過程の上限のすべての $p$-次モーメントを直接的にバウンドするように適合させることは可能か？
• RQ2 確率過程の上限の尾部バウンドにおける最適な分散パrameterは何か？ そして、一般化チェイニングによってその達成は可能か？
• RQ3 この手法は、有界でないまたは相関のある経験過程に対し鋭い尾部バウンドをもたらすか？
• RQ4 この手法は、圧縮センシングにおける制限的等長性性質（RIP）の既存の証明を簡略化または改善できるか？
• RQ5 この手法は、タラグランドが提起した混合サブガウス型・サブ指数型過程の尾部バウンドに関する未解決問題を解消するか？

主な発見

• 中心極限定理のガウス過程に対して、$\left(\mathbb{E}\sup_{t\in T}|X_t|^p\right)^{1/p} \leq C\gamma_{2,p}(T,d) + D\sigma\sqrt{p}$ のバウンドが確立された。ここで $\sigma^2 = \sup_t \mathbb{E}(X_t^2)$ である。
• 尾部バウンドが導出された：$\mathbb{P}(\sup_t |X_t| \geq \sqrt{e}(C\gamma_2(T,d) + uD\sigma)) \leq e^{-u^2/2}$（$u \geq 1$）。これは定数の違いを除き、既知の鋭いバウンドと一致する。
• この手法により、部分抽出された離散フーリエ変換に対する制限的等長性性質（RIP）の証明が簡略化され、有界正規直交系に適用可能である。
• このアプローチにより、$\mathbb{E}|\sum X_i^2|$ の形の経験過程の上限に対する新しい $L^p$-バウンドが得られ、メンデルソン、パジョール、トムツァク＝ジャエーガルマンの結果が拡張された。
• この手法は2次カオス過程に対しても適用可能であり、このような過程に対する改善された分散不等式を提供する。
• この技術は、エントロピー法のような複雑な道具を避ける。代わりに、モーメント推定と和集合のバウンドに依存しており、よりアクセスしやすく汎用的である。