[論文レビュー] Sparse covariance thresholding for high-dimensional variable selection

X. Jessie Jeng And Z. John Daye|arXiv (Cornell University)|Jun 6, 2010

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、母集団共分散行列のスパarsityを活用して高次元回帰性能を向上させる、新しい変数選択手法である共分散しきい値付きlassoを提案する。サンプル共分散行列をノイズとばらつきを低減するようにしきい値処理することで、特に p が大きく n が小さい状況（従来のlassoがランク不足と不安定なサンプル共分散のため失敗する状況）において、ランダム設計設定下での変数選択の一貫性が向上する。

ABSTRACT

In high-dimensions, many variable selection methods, such as the lasso, are often limited by excessive variability and rank deficiency of the sample covariance matrix. Covariance sparsity is a natural phenomenon in high-dimensional applications, such as microarray analysis, image processing, etc., in which a large number of predictors are independent or weakly correlated. In this paper, we propose the covariance-thresholded lasso, a new class of regression methods that can utilize covariance sparsity to improve variable selection. We establish theoretical results, under the random design setting, that relate covariance sparsity to variable selection. Real-data and simulation examples indicate that our method can be useful in improving variable selection performances.

研究の動機と目的

• p > n でサンプル共分散行列がランク不足かつ高ばらつきを示す状況において、lassoの限界を克服すること。
• 遺伝子マイクロアレイ解析などの応用分野で一般的な、多くの予測変数が無相関または弱相関である母集団共分散行列の自然なスパarsityを活用すること。
• lasso正則化を適用する前にサンプル共分散行列をしきい値処理することで、変数選択の一貫性を向上させる新しい回帰手法を開発すること。
• ランダム設計設定下での手法の理論的一貫性を確立し、共分散行列のスパarsityが真の変数と無関係な変数の分離をより良く可能にすることを示すこと。
• シミュレーションと実データを通じて、提案手法が標準lassoよりも変数選択の正確性と安定性に優れることを示すこと。

提案手法

• 小さな非対角成分をゼロに設定するデータ駆動のしきい値 $\nu = C\sqrt{\log(p-s)}/\sqrt{n}$ を用いて、サンプル共分散行列をしきい値処理した行列 $\hat{\mathbf{\Sigma}}_{\nu}$ を導入し、推定ばらつきを低減する。
• 正と負の係数部（$\beta^+$, $\beta^-$）を用いた制約付き最適化問題として、共分散しきい値付きlassoを定式化。目的関数にはしきい値処理された共分散行列とlasso型の $\ell_1$ 正則化項が含まれる。
• 一次最適性条件を導出し、その解釈に用いる。これにより、応答変数との相関がしきい値未満の変数が、条件を満たす場合に除外されることを保証する。
• しきい値処理によって真の変数と無関係な変数の間の有効な結合性が低下するため、標準lassoよりも、irrepresentable 条件をより信頼性高く満たす。
• 一次条件に基づくアルゴリズムを導出し、LARSアルゴリズムに類似した方法で、分岐線形解を効率的に計算する。
• 理論的分析では、推定誤差を制御するため、集中不等式とサンプル共分散行列の最大対角成分および非対角成分に対する高確率境界を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおける共分散行列のスパarsityを活用することで、p が大きく n が小さい状況下でのlassoの変数選択性能を向上させることができるか？
• RQ2 サンプル共分散行列をしきい値処理することで、推定ばらつきが低減され、変数選択の一貫性が向上するか？
• RQ3 ランダム設計設定下で、共分散しきい値付きlassoがどのような条件下で変数選択の一貫性を達成するか？
• RQ4 シミュレーションおよび実データにおいて、標準lassoと比較して、本手法の選択精度と安定性はどのように異なるか？
• RQ5 母集団共分散行列のスパarsityと、真の変数を一貫して選択できる能力との間には、どのような理論的関係があるか？

主な発見

• 母集団共分散行列がスパースで、しきい値処理後にirrepresentable 条件が満たされる場合、共分散しきい値付きlassoはランダム設計設定下で変数選択の一貫性を達成する。
• 本手法はサンプル共分散行列のばらつきを低減し、p > n 時に標準lassoが直面するランク不足と不安定性の問題を緩和する。
• 理論的分析により、応答ベクトルおよびサンプル共分散行列の推定誤差が高確率で有界であることが示され、$\|n^{-1}\mathbf{X}_S^T\epsilon\|_\infty = O_p(\sqrt{\log s}/\sqrt{n})$ および $\|n^{-1}\mathbf{X}_C^T\epsilon\|_\infty = O_p(\sqrt{\log(p-s)}/\sqrt{n})$ が成り立つ。
• しきい値処理により、真の変数と無関係な変数間の有効な結合性（サンプルirrepresentableインデックスで測定）が低下し、irrepresentable 条件が満たされやすくなる。
• シミュレーションおよび実データ例から、本手法が標準lassoよりも変数選択性能が向上することが示され、特に共分散行列がスパース構造を示す高次元設定で顕著である。
• しきい値パラメータ $\nu$ の選択に対して本手法は頑健であり、$\nu$ が $\sqrt{\log(p-s)}/\sqrt{n}$ に対して適切にスケーリングされる限り、一貫性が維持されることが示された。