[論文レビュー] A Bernstein-type inequality for suprema of random processes with an application to statistics

Yannick Baraud|ArXiv.org|Apr 21, 2009

Probabilistic and Robust Engineering Design参考文献 17被引用数 4

ひとこと要約

本稿では、Talagrandの汎用チェイン法を用いて、サブガウス型の不等式を、サブガウス型の確率的プロセスの上限に対して確立する。これにより、線形部分空間への射影の二乗ノルムに対する鋭い分散境界が得られる。主な貢献は、古典的なBernstein不等式を高次元かつ非ガウス型の設定に拡張した非漸近的集中不等式であり、重い尾を持つ誤差を持つ回帰におけるモデル選択への直接的応用が可能である。

ABSTRACT

We use the generic chaining device proposed by Talagrand to establish exponential bounds on the deviation probability of some suprema of random processes. Then, given a random vector $ξ$ in $\R^{n}$ the components of which are independent and admit a suitable exponential moment, we deduce a deviation inequality for the squared Euclidean norm of the projection of $ξ$ onto a linear subspace of $\R^{n}$. Finally, we provide an application of such an inequality to statistics, performing model selection in the regression setting when the errors are possibly non-Gaussian and the collection of models possibly large.

研究の動機と目的

• サブガウス型またはサブ指数型のモーメント条件の下で、確率的プロセスの上限に対する鋭い指数的分散境界を導出すること。
• 独立同一分布または有界増分にとどまらない、おそらく大きな集合によってインデックス付けられた一連の確率変数の上限への古典的Bernstein不等式の拡張。
• サブガウス型成分を持つ確率的ベクトルの線形部分空間への射影の二乗ノルムに対する非漸近的集中不等式の提供。
• 導出された不等式を、誤差が非ガウス型でモデル集合が大きな高次元回帰におけるモデル選択に応用すること。

提案手法

• インデックス集合の階層的分割に基づく経路の増分への分解により、Talagrandの汎用チェイン装置を用いて確率的プロセスの上限を制御する。
• 増分にラプラス変換条件を適用する：$\mathbb{E}[e^{\lambda X_t}] \leq \exp\left(\frac{\lambda^2 v^2}{2(1 - \lambda c)}\right)$ for $\lambda \in (0, c)$ であり、これは有界性を一般化する。
• Klein & Rioの結果を改善した解釈性の高い形での分散境界 $\mathbb{P}(Z \geq \mathbb{E}[Z] + \sqrt{(2v^2 + 2c\mathbb{E}[Z])u} + 3cu) \leq e^{-u}$ を導出する。
• サブガウス型の成分を持つ確率的ベクトル $\xi \in \mathbb{R}^n$ を線形部分空間に射影する際、$\|P\xi\|^2$ を制限する。
• チェインフレームワークを用いてインデックス集合のエントロピーを制御し、プロセスの $\Lambda_2^2$ および $\Lambda_\infty$ ノルムの境界を導出する。
• 最終的な不等式を回帰におけるモデル選択に適用し、設計行列が固定で誤差が非ガウス型の下で、導出された集中境界に基づく複雑さペナルティを用いる。

実験結果

リサーチクエスチョン

• RQ1 有界性ではなくサブ指数型のモーメント条件の下で、確率的プロセスの上限に対してBernstein型不等式を確立できるか？
• RQ2 汎用チェイン法をどのように変更すれば、非ガウス型確率的ベクトルの射影に対する鋭い非漸近的集中不等式を得られるか？
• RQ3 高次元設定における分散確率の分散およびテール尺度パラメータへの最適依存関係は何か？
• RQ4 このような集中不等式を、非ガウス型誤差と大きなモデル集合を持つ回帰におけるモデル選択手順の正当化に用いることができるか？

主な発見

• 本稿では、サブガウス型テール条件の下で、確率的プロセスの上限に対する新しいBernstein型不等式を確立し、より良い数値定数を有する以前の結果を改善した。
• 独立成分を持つ確率的ベクトル $\xi \in \mathbb{R}^n$ で、$\mathbb{E}[e^{\lambda \xi_i}] \leq \exp(\lambda^2 \sigma^2 / 2)$ を満たすものに対して、$d$ 次元部分空間への射影の二乗ノルムは、$\mathbb{P}(\|P\xi\|^2 \geq \mathbb{E}[\|P\xi\|^2] + 2\sigma^2 u + 2\sigma^2 \sqrt{2du}) \leq e^{-u}$ を満たす。
• 導出された不等式により、モデル集合の複雑さがチェインに基づくエントロピー境界で制御されるため、非ガウス型誤差を持つ回帰におけるモデル選択が可能になる。
• 古典的チェインの悲観的定数を避けるために、ラプラス変換条件を用いたチェイン分解により、上限の鋭い制御が達成される。
• 特定のモデル集合（例えば、区分定数関数や区分多項式関数）に対して、チェインノルム $\Lambda_2^2(\mathcal{S}_n)$ および $\overline{\Lambda}_\infty$ の明示的境界を導出し、設定に応じて $\Lambda_2^2(\mathcal{S}_n) \leq \frac{1}{a^2 \log^2 n}$ または $\frac{2(2\overline{D}+1)}{n}$ を示した。
• 最終的なモデル選択への応用では、$\log n$ に比例するペナルティ項を用いることで、重い尾を持つ誤差分布下でも、きわめて弱いモーメント条件のもとで一貫性が保証される。