[論文レビュー] The lower tail of random quadratic forms, with applications to ordinary least squares and restricted eigenvalue properties

Roberto I. Oliveira|arXiv (Cornell University)|Dec 10, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用数 65

ひとこと要約

本稿は、4次のモーメント条件の下で、確率的二次形式の下側尾根にサブガウス型の集中を確立し、高次元統計におけるより緊密な有限標本バウンドを可能にする。この結果を用いて、スパース回復における通常最小二乗推定および制限固有値性質を改善し、重い尾を持つ分布に対しても有効である。

ABSTRACT

Finite sample properties of random covariance-type matrices have been the subject of much research. In this paper we focus on the "lower tail" of such a matrix, and prove that it is subgaussian under a simple fourth moment assumption on the one-dimensional marginals of the random vectors. A similar result holds for more general sums of random positive semidefinite matrices, and the (relatively simple) proof uses a variant of the so-called PAC-Bayesian method for bounding empirical processes. We give two applications of the main result. In the first one we obtain a new finite-sample bound for ordinary least squares estimator in linear regression with random design. Our result is model-free, requires fairly weak moment assumptions and is almost optimal. Our second application is to bounding restricted eigenvalue constants of certain random ensembles with "heavy tails". These constants are important in the analysis of problems in Compressed Sensing and High Dimensional Statistics, where one recovers a sparse vector from a small umber of linear measurements. Our result implies that heavy tails still allow for the fast recovery rates found in efficient methods such as the LASSO and the Dantzig selector. Along the way we strengthen, with a fairly short argument, a recent result of Rudelson and Zhou on the restricted eigenvalue property.

研究の動機と目的

• 最小限のモーメント仮定の下で、確率的共分散行列の下側尾根に対する有限標本集中バウンドを導出すること。
• 無限モーメントを仮定するのではなく、有限モーメントのみを仮定した場合の、確率的設計回帰における通常最小二乗推定の有限標本誤差バウンドを改善すること。
• 重い尾を持つ確率的アンサンブルに対して制限固有値性質を確立し、圧縮センシングにおける高速回復を支援すること。
• 新しいPACベイジアンの議論を用いて、既存の制限固有値に関する結果を強化すること。

提案手法

• i.i.d. の正定値確率的行列の和を含む経験プロセスをバウンドするためのPACベイジアン法の変種を用いる。
• 4次のモーメント条件の下で、二次形式の下側尾根に対するサブガウス型尾根バウンドを確立する：$ \sqrt{\mathbb{E}[(v^T X_1)^4]} \leq h \cdot v^T \Sigma v $。
• 非負の確率的変数の和の下側尾根を制御するため、指数モーメントバウンドを用いたスーパーマルティンゲールの議論を適用する。
• モーメントの準同調性条件の下で、確率的行列のトレースに対する一般化された集中不等式を導出する。
• 独立コピーを用いた対称化技術を用いて、中心化された増分のモーメント生成関数をバウンドする。
• 任意停止およびマルコフの不等式を用いて、二次形式の下側尾根に対する高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 1次元のマージナルに4次のモーメント条件しか仮定しない場合でも、確率的二次形式のサブガウス型下側尾根バウンドを確立できるか？
• RQ2 有限モーメントのみを仮定した場合の、確率的設計回帰における通常最小二乗推定の有限標本誤差バウンドはどのように導出できるか？
• RQ3 重い尾を持つ確率的アンサンブルに対して制限固有値定数をバウンドできるか？また、それらは圧縮センシングにおける高速回復レートを支援するか？
• RQ4 PACベイジアン法は、高次元統計における経験プロセスのより緊密な集中バウンドを導出するためにどのように適合できるか？
• RQ5 短く一般化された議論を用いて、弱いモーメント仮定の下で制限固有値性質を強化できるか？

主な発見

• 4次のモーメント条件の下で、確率的二次形式の下側尾根はサブガウス型である：$ \mathbb{P}(\forall v, \, v^T \widehat{\Sigma}_n v \geq (1-\varepsilon) v^T \Sigma v) \geq 1 - e^{-p} $ が成り立ち、$ n = O(h^2 p / \varepsilon^2) $ のとき。
• バイ・アインの定理により、独立な座標の場合に $ \varepsilon^{-2} $ のオーダーで最適であることが確認された。
• X と Y に有限の2次のモーメントのみを仮定した場合の、通常最小二乗推定に対する新しい有限標本バウンドが導出され、従来の無限モーメントを要件としていた結果を改善した。
• 重い尾を持つアンサンブルに対して制限固有値定数がバウンドされ、LASSO やダントツ選択子がサブ指数的尾根でさえも高速回復レートを達成できることを保証する。
• 対称化とモーメント生成関数の議論を用いて、ルドルスンとジョウの最近の制限固有値性質に関する結果を短い証明で強化した。
• 主結果は、4次のモーメント条件が満たされる限り、重い尾を持つ分布であっても高次元線形モデルにおける効率的回復が妨げられないことを示唆する。