[論文レビュー] Regularity Properties of High-dimensional Covariate Matrices ∗

Edgar Dobriban, Jianqing Fan|arXiv (Cornell University)|May 22, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、正規の共分散構造を持つ母集団から抽出された設計行列に対して、lq感度——高次元の説明変数行列の一般化された正則性特性——が高確率で成立することを確立している。著者らは、このような条件の検証がNP困難であることを証明し、lq感度が自然なデータ操作の下でも保存されることを示し、ノイズの尾部挙動（有界、サブガウスィアン、有限モーメント）に応じた標本サイズおよび確率の上限を導出している。

ABSTRACT

Regularity properties such as the incoherence condition, the restricted isometry property, compatibility, restricted eigenvalue and lq sensitivity of covariate matrices play a pivotal role in high-dimensional regression and compressed sensing. Yet, like computing the spark of a matrix, we first show that it is NP-hard to check the conditions involving all submatrices of a given size. This motivates us to investigate what classes of design matrices sat- isfy these conditions. We demonstrate that the most general property, lq sensitivity, holds with high probability for covariate matrices sam- pled from populations with a suitably regular covariance matrix. The probability lower bound and sample size required depend on the tail be- havior of the random noise. We examine this for three important cases, bounded, sub-Gaussian, and finite moment random noises. We further show that lq sensitivity is preserved under natural opera- tions on the data. Our work is particularly important for many statisti- cal applications, in which the covariates are observational and correlated and can be thought of as fixed in advance. AMS 2000 subject classifications: Primary 62J05; secondary 68Q17, 62H12.

研究の動機と目的

• 高次元の説明変数行列における非一様性や制限等長性といった正則性条件を検証する計算の複雑さを調査すること。
• これらの正則性特性が母集団分布のどのような条件下で高確率で成立するかを特定すること。
• lq感度——統合的な正則性特性——が、正規の共分散構造を持つ母集団からのランダムな設計行列に対して高確率で成立することを確立すること。
• lq感度が自然なデータ変換および操作の下でどのように保存されるかを分析すること。
• ノイズの尾部挙動に応じた、明示的な標本サイズ要件および正則性の確率の下限を提供すること。

提案手法

• 与えられたサイズのすべての部分行列を含む正則性条件の検証がNP困難であることを証明し、根本的な計算的障壁を確立すること。
• lq感度を、非一様性、制限等長性、適合性、制限固有値条件を統合する一般化された正則性特性として定義すること。
• 正規の共分散行列をもつ母集団から抽出されたランダムな設計行列に対して、lq感度が成立する確率を分析すること。
• ノイズの尾部挙動（有界、サブガウスィアン、有限モーメント）に応じた、lq感度の成立確率に対する高確率の下限を導出すること。
• 列スケーリング、行の置換、線形変換などの自然な操作の下でlq感度が保存されることを示すこと。
• 集中不等式およびモーメントバウンドを用いて、異なるノイズ仮定の下での高確率正則性を達成するための必要な標本サイズを定量化すること。

実験結果

リサーチクエスチョン

• RQ1 高次元の説明変数行列における非一様性や制限等長性といった正則性条件を検証することは、計算的に可能か？
• RQ2 説明変数の分布的仮定を満たすと、lq感度が高確率で成立するか？
• RQ3 ノイズの尾部挙動（有界、サブガウスィアン、有限モーメント）は、高確率正則性を達成するための標本サイズにどのように影響するか？
• RQ4 非一様性のような正則性特性——lq感度——は、一般的なデータ前処理操作の下で保存されるか？
• RQ5 lq感度は、高次元回帰や圧縮センシングにおける既存の正則性条件を統合するフレームワークとして機能できるか？

主な発見

• 与えられたサイズのすべての部分行列を含む正則性条件の検証はNP困難であり、根本的な計算的非実行可能性を示している。
• 正規の共分散行列をもつ母集団から抽出された説明変数行列に対して、lq感度は高確率で成立する。
• lq感度の確率下限および必要な標本サイズは、ノイズ分布の尾部挙動に強く依存する。
• 有界ノイズの場合は、必要な標本サイズが次元に対して対数的にスケーリングされるが、サブガウスィアンおよび有限モーメントの場合は、より強いモーメント仮定を要する。
• lq感度は、列スケーリングや行の置換などの自然なデータ操作の下で保存される。
• 本研究の結果は、観察研究における固定かつ相関のある説明変数を想定した高次元回帰や圧縮センシング手法の有効性に関する理論的基盤を提供する。