[論文レビュー] A Bernstein-type inequality for stochastic processes of quadratic forms of Gaussian variables

Ikhlef Bechar|ArXiv.org|Sep 19, 2009

Statistical and numerical algorithms参考文献 6被引用数 119

ひとこと要約

本稿では、i.i.d. のガウス確率変数の二次形式を含む確率過程に対する新しいベルンシュタイン型不等式を提示する。この不等式により、このような二次形式の一様な制御が可能になる。主な貢献は、行列 $ \frac{1}{2}(A + A^T) $ の固有値、$ \|b\| $、および固有値の正負の部分に明示的な依存関係を示す、二次形式 $ T = z^T A z + b^T z $ の裾確率を制限する集中不等式であり、線形回帰および逆問題におけるモデル選択のための鋭い非漸近的バウンドを提供する。

ABSTRACT

We introduce a Bernstein-type inequality which serves to uniformly control quadratic forms of gaussian variables. The latter can for example be used to derive sharp model selection criteria for linear estimation in linear regression and linear inverse problems via penalization, and we do not exclude that its scope of application can be made even broader.

研究の動機と目的

• 高次元設定におけるガウス変数の二次形式の一様な制御を可能にする集中不等式の開発。
• 線形推定におけるペナルティによるモデル選択のための鋭い非漸近的バウンドの必要性に対処すること。
• i.i.d. の標準正規変数の二次形式を含む確率過程への古典的ベルンシュタイン不等式の拡張。
• 線形回帰および線形逆問題における鋭いペナルティを導出する理論的基盤の提供。

提案手法

• $ z_k \sim N(0,1) $ であるとき、$ T = \sum_{k=1}^p a_k z_k^2 + b_k z_k $ に対する集中不等式を、モーメント生成関数の解析と Birgé-Massart の補題を用いて導出する。
• モーメント生成関数の条件 $ \log \mathbb{E}[\exp(y\xi)] \leq \frac{(uy)^2}{1 - vy} $ を用いて裾確率を確立し、$ \mathbb{P}(\xi \geq 2u\sqrt{x} + vx) \leq \exp(-x) $ を導出する。
• $ \frac{1}{2}(A + A^T) $ の固有値分解を用いて、二次形式 $ T = z^T A z + b^T z $ を重み付きカイ二乗分布および線形項の和に変換する。
• $ s^+ = \sup_k \{ \max(s_k, 0) \} $ および $ s^- = \sup_k \{ \max(-s_k, 0) \} $ を定義し、ここで $ s_k $ は $ \frac{1}{2}(A + A^T) $ の固有値とする。これにより、正負の固有値寄与を捉える。
• 変換された変数 $ z' = U^T z $ に対して一変量の結果を適用し、分布的性質およびノルムを保存する。
• 最終的なバウンドを導出する：$ \mathbb{P}(T \geq \operatorname{tr}(A) + 2\sqrt{\frac{1}{4}\|A + A^T\|^2 + \frac{1}{2}\|b\|^2}\sqrt{x} + 2s^+x) \leq \exp(-x) $。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. のガウス変数の二次形式の平均からの逸脱を、高次元設定で一様に制御するにはどうすればよいか？
• RQ2 一般の対称行列 $ A $ およびベクトル $ b $ に対して、$ T = z^T A z + b^T z $ の鋭い集中挙動は何か？
• RQ3 分散と歪度（線形項および二次項を介して）の両方を考慮するベルンシュタイン型不等式を、二次形式に対して導出可能か？
• RQ4 このような不等式を用いて、線形回帰および逆問題におけるモデル選択の非漸近的リスクバウンドをどのように導出できるか？
• RQ5 $ \frac{1}{2}(A + A^T) $ の固有値の正負の部分が、裾確率の制御に果たす役割は何か？

主な発見

• 不等式は、$ \mathbb{P}(T \geq \sum a_k + 2\sqrt{\sum a_k^2 + \frac{b_k^2}{2}}\sqrt{x} + 2a^+x) \leq \exp(-x) $ を満たし、すべての $ x > 0 $ に対して $ T = \sum_{k=1}^p a_k z_k^2 + b_k z_k $ の裾確率に対して一様な上界を提供する。
• 行列形式 $ T = z^T A z + b^T z $ に対しては、$ \mathbb{P}(T \geq \operatorname{tr}(A) + 2\sqrt{\frac{1}{4}\|A + A^T\|^2 + \frac{1}{2}\|b\|^2}\sqrt{x} + 2s^+x) \leq \exp(-x) $ となる。ここで $ s^+ $ は $ \frac{1}{2}(A + A^T) $ の正の固有値の最大値である。
• この不等式は鋭く、線形回帰および線形逆問題における有限または可算集合の線形推定子に適用可能である。
• 証明はモーメント生成関数の解析と Birgé-Massart の補題に依拠しており、テイラー展開および凸性の議論による対数モーメントバウンドの技術的検証が行われている。
• この結果は、行列 $ A $ の対称部分のトレースおよびスペクトルノルムを組み込んだ、古典的ベルンシュタイン不等式のガウスベクトルの二次形式への一般化である。
• 導出されたバウンドは非漸近的であり、モデル選択における鋭いペナルティの構築に適している。Bechar (2009a) でその有効性が示されている。