[論文レビュー] On the consistency theory of high dimensional variable screening

Xiangyu Wang, Chenlei Leng+1 more|arXiv (Cornell University)|Feb 24, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用数 4

ひとこと要約

本稿は、高次元変数スクリーニングの理論的基盤を確立し、強スクリーニング一致性の必要十分条件として制限対角優勢（RDD）条件を導入する。スクリーニング手法としてSISとHOLPが、標本サイズが $ n = O((\rho s + \sigma/\tau)^2 \log p) $ を満たす場合に高確率で一貫性を達成することを証明し、従来の方法に見られる限界を克服する統一的枠組みを提供する。

ABSTRACT

Variable screening is a fast dimension reduction technique for assisting high dimensional feature selection. As a preselection method, it selects a moderate size subset of candidate variables for further refining via feature selection to produce the final model. The performance of variable screening depends on both computational efficiency and the ability to dramatically reduce the number of variables without discarding the important ones. When the data dimension $p$ is substantially larger than the sample size $n$, variable screening becomes crucial as 1) Faster feature selection algorithms are needed; 2) Conditions guaranteeing selection consistency might fail to hold. This article studies a class of linear screening methods and establishes consistency theory for this special class. In particular, we prove the restricted diagonally dominant (RDD) condition is a necessary and sufficient condition for strong screening consistency. As concrete examples, we show two screening methods $SIS$ and $HOLP$ are both strong screening consistent (subject to additional constraints) with large probability if $n > O((ρs + σ/τ)^2\log p)$ under random designs. In addition, we relate the RDD condition to the irrepresentable condition, and highlight limitations of $SIS$.

研究の動機と目的

• 高次元スクリーニングにおいて $ p \gg n $ の下で一貫性のある理論的枠組みを構築すること。
• 線形スクリーニング手法における強スクリーニング一貫性の必要十分条件を同定すること。
• ランダム設計下におけるSISとHOLPの性能を分析し、標本サイズ要件を定量化すること。
• RDD条件が高次元統計における既存の条件（非表現性条件や制限固有値条件）とどのように関係するかを明らかにすること。
• SISが有するマージナル相関の強い仮定を緩和することでHOLPがSISの主な限界をどのように克服するかを示すこと。

提案手法

• 強スクリーニング一貫性の概念を導入し、それを満たすための必要十分条件として制限対角優勢（RDD）条件を定義する。
• 独立同一分布のサブガウス型設計のもとで、ランダム行列理論と集中不等式を用いてスクリーニング行列の理論的境界を導出する。
• 和集合の上限と尾部不等式（例えば、ガウス尾部不等式）を適用し、スクリーニング行列の非対角項および対角項を制御する。
• RDD条件における補助行列を用いることで、HOLPのようにSISを改善するスクリーニング手法を柔軟に組み込む。
• 確率的議論により、信号の多様性（$ \rho $）、スパarsity（$ s $）、信号対雑音比（$ \sigma/\tau $）をバランスさせることで、標本サイズ要件を確立する。
• 2次形式の高確率集中と固有値の境界に依存し、RDD条件が途方なく高い確率で成立することを保証する。

実験結果

リサーチクエスチョン

• RQ1 線形スクリーニング手法が強スクリーニング一貫性を達成するための必要十分条件は何か？
• RQ2 RDD条件は高次元統計における非表現性条件や制限固有値条件とどのように関係するか？
• RQ3 ランダム設計下で、SISとHOLPがどの標本サイズ条件下で高確率でスクリーニング一貫性を達成するか？
• RQ4 なぜSISは弱いマージナル相関下で失敗するのか？HOLPはこの限界をどのように克服するか？
• RQ5 設計行列が標準的条件を満たさない場合、RDD条件における補助行列をどのように選べばスクリーニング性能を向上させられるか？

主な発見

• 制限対角優勢（RDD）条件は、線形スクリーニング手法における強スクリーニング一貫性の必要十分条件である。
• SISは $ n = O((\rho s + \sigma/\tau)^2 \log p) $ を満たす場合に高確率でスクリーニング一貫性を達成するが、強いマージナル信号強度を要する。
• HOLPは同じ標本サイズ条件下で一貫性を達成するが、柔軟な補助行列の選択により、より弱い仮定で実現可能である。
• RDD条件は非表現性条件を一般化でき、補助行列を適切に選べば、非表現性条件が成立しない場合でもRDD条件が成立しうる。
• 標本サイズ要件 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ は、固定設計下でのlassoの符号一貫性結果よりもきびしい。
• 理論的枠組みにより、HOLPの計算効率（$ O(n^2p) $）がランダム設計下でも強い理論的一貫性保証と両立可能であることが示された。