[論文レビュー] Restricted Eigenvalue Conditions on Subgaussian Random Matrices

Shuheng Zhou|ArXiv.org|Dec 21, 2009

Topological and Geometric Data Analysis参考文献 19被引用数 64

ひとこと要約

本稿では、独立な行をもつサブガウス型ランダム行列—一般の共分散構造をもつ場合—が、標本サイズがある閾値を超えると、高確率で制限固有値（RE）条件を満たすことを確立している。幾何的関数解析の道具を用いることで、著者らは、列同士が独立でない場合でさえも、高次元設定におけるlassoやDantzig選択子による一貫性推定が可能であることを示している。

ABSTRACT

It is natural to ask: what kinds of matrices satisfy the Restricted Eigenvalue (RE) condition? In this paper, we associate the RE condition (Bickel-Ritov-Tsybakov 09) with the complexity of a subset of the sphere in $\R^p$, where $p$ is the dimensionality of the data, and show that a class of random matrices with independent rows, but not necessarily independent columns, satisfy the RE condition, when the sample size is above a certain lower bound. Here we explicitly introduce an additional covariance structure to the class of random matrices that we have known by now that satisfy the Restricted Isometry Property as defined in Candes and Tao 05 (and hence the RE condition), in order to compose a broader class of random matrices for which the RE condition holds. In this case, tools from geometric functional analysis in characterizing the intrinsic low-dimensional structures associated with the RE condition has been crucial in analyzing the sample complexity and understanding its statistical implications for high dimensional data.

研究の動機と目的

• サブガウス型ランダム行列が制限固有値（RE）条件を満たす条件を特定すること。これは高次元統計的推定のための重要な要件である。
• i.i.d. 要素に限らない行列クラスを拡張し、一般の共分散構造Σを組み込むことで、RE条件を満たす行列のクラスを拡大すること。
• 幾何的関数解析の道具を用いて、RE条件の標本複雑性と統計的意味を分析すること。
• 列が従属である場合を含む広範なランダム設計に対して、RE条件が高確率で成立することを示すこと。
• 高次元線形モデルにおけるlassoおよびDantzig選択子の性能について、RE条件のもとでの理論的保証を提供すること。

提案手法

• 独立な行と指定された共分散構造Σを持つランダム行列の一般クラスを導入し、列間に依存性が存在してもよいようにする。
• 適切なδについて ||δ_{J₀^c}||₁ ≤ k₀||δ_{J₀}||₁ を満たすδの集合上で、||Xδ||₂ / (√n ||δ_J₀||₂) の下限として制限固有値条件を定義する。
• スレピアンの補題とゴードンのガウス型比較不等式を適用し、許容可能δの集合上で||Xδ||₂の期待下限および上限を評価する。
• ガウス空間における測度の集中を用いて、||Xδ||₂の経験的ノルムの高確率的逸脱バウンドを導出する。
• 集合E_sに属するδについて、|⟨h, Σ^{1/2}δ⟩|の期待上限を用いて、||Xδ||₂がその平均からどれほど逸脱するかを制御する。
• 適切な標本サイズ条件のもとで、すべての許容可能δについて (1−θ−o(1))||Σ^{1/2}δ||₂ ≤ ||Xδ||₂/√n ≤ (1+θ)||Σ^{1/2}δ||₂ という高確率的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 列が独立でない場合に、どのようなランダム行列が制限固有値（RE）条件を満たすか？
• RQ2 一般の共分散構造Σの組み込みが、サブガウス型ランダム行列のRE条件の有効性にどのように影響するか？
• RQ3 高次元設定において、RE条件が高確率で成立するための最小標本サイズは何か？
• RQ4 Slepianの補題や測度の集中といった幾何的関数解析の道具が、RE条件の分析にどのように寄与するか？
• RQ5 RE条件が、高次元モデルにおけるlassoやDantzig選択子による一貫性推定をどの程度保証するか？

主な発見

• 独立な行と一般の共分散構造Σをもつサブガウス型ランダム行列は、標本サイズnがスパarsityレベルsおよび次元pの対数log(p/s)に依存する閾値を超えると、高確率で制限固有値条件を満たす。
• 標本サイズがs log(p/s)に対して十分に大きい場合、RE条件は確率1−4/p^d（d>0）以上で成立する。
• 本稿では、すべての許容可能δについて、経験的ノルム||Xδ||₂/√nが||Σ^{1/2}δ||₂の定数倍で一様に下限および上限から抑えられることを確立している。
• 解析により、RE条件が一般の共分散構造に対して安定であることが示され、i.i.d. または等方的設計を仮定する以前の結果を拡張している。
• ||Xδ||₂の期待下限および上限に対する導出されたバウンドは、すべてのsスパース方向にわたるRE条件の一様成立を示しており、推定誤差の均一制御を可能にする。
• 結果は、Xの列が従属であっても、lassoおよびDantzig選択子がRE条件のもとで最適なℓ₂およびℓ₁推定誤差レートを達成することを確認している。