[論文レビュー] Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression

Jian Zhang, X. Jessie Jeng+1 more|ArXiv.org|Oct 9, 2008

Statistical Methods and Inference参考文献 26被引用数 8

ひとこと要約

本稿では、irrepresentable 条件を必要とせず、推定および変数選択の一致性を達成する高次元線形回帰のための2段階変数選択手順を提案する。初期推定量（例えば、リッジまたはラッソ）を用い、その後に非負ガローテ、適応ラッソ、またはハードスチールディングを適用することで、標本サイズ n とともに予測子の数が指数関数的に増加する場合でさえも、オラクル性質を満たすことが保証される。

ABSTRACT

We study the problem of high-dimensional variable selection via some two-step procedures. First we show that given some good initial estimator which is $\ell_{\infty}$-consistent but not necessarily variable selection consistent, we can apply the nonnegative Garrote, adaptive Lasso or hard-thresholding procedure to obtain a final estimator that is both estimation and variable selection consistent. Unlike the Lasso, our results do not require the irrepresentable condition which could fail easily even for moderate $p_n$ (Zhao and Yu, 2007) and it also allows $p_n$ to grow almost as fast as $\exp(n)$ (for hard-thresholding there is no restriction on $p_n$). We also study the conditions under which the Ridge regression can be used as an initial estimator. We show that under a relaxed identifiable condition, the Ridge estimator is $\ell_{\infty}$-consistent. Such a condition is usually satisfied when $p_n\le n$ and does not require the partial orthogonality between relevant and irrelevant covariates which is needed for the univariate regression in (Huang et al., 2008). Our numerical studies show that when using the Lasso or Ridge as initial estimator, the two-step procedures have a higher sparsity recovery rate than the Lasso or adaptive Lasso with univariate regression used in (Huang et al., 2008).

研究の動機と目的

• 高次元線形モデルにおいて、推定および変数選択の一貫性を達成する2段階変数選択手順の開発。
• しばしば高次元設定で成立しないirrepresentable 条件の必要性を排除すること。
• リッジ回帰がℓ∞-一貫性を示す有効な初期推定量として機能するための条件の確立。
• 有限標本において、ラッソおよび適応ラッソと比較して優れたスパース回復レートを示すことの証明。
• 予測子の数 pn が標本サイズ n に対してほぼ指数関数的に増加する場合の理論的保証の拡張。

提案手法

• 初期推定量（例えば、リッジまたはラッソ）を取得する2段階フレームワークを適用し、その推定量がℓ∞-一貫性を満たすことを前提とする。
• 初期推定量に対して、非負ガローテ、適応ラッソ、またはハードスチールディングといった後処理ペナルティ手法を適用し、変数選択の一貫性を達成する。
• 初期推定量から導かれる重みを用いた重み付きℓ1ペナルティを用いて適応ラッソを実装する。
• 最終推定量が推定および選択の一貫性を満たすための理論的条件を確立する。
• 推定誤差のℓ∞-ノルムを、関心のある事象上での制御のために、集中不等式およびガウス尾部バウンドを用いる。
• 収束確率として真のスパースモデルに収束するための、チューニングパラメータおよびデザイン行列構造に関する十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 設計行列にirrepresentable 条件を要件としない2段階手順が、変数選択の一貫性を達成できるか？
• RQ2 高次元設定において、リッジ推定量がℓ∞-一貫性を示す条件は何か？
• RQ3 有限標本において、2段階手順のスパース回復性能は、ラッソおよび適応ラッソと比較してどうなるか？
• RQ4 2段階法が一貫性を維持できる予測子数pnの成長率はどの程度か？
• RQ5 初期推定量がℓ∞-一貫性を満たすにとどまる場合、最終推定量がオラクル性質を達成できるか？

主な発見

• 非負ガローテ、適応ラッソ、またはハードスチールディングを用いた2段階手順は、初期推定量がℓ∞-一貫性を満たす限り、推定および変数選択の一貫性を達成する。
• 本手法は、しばしば中程度のpnでも破綻するirrepresentable 条件を必要としない。
• ハードスチールディングの場合、pnの成長率に制限がないため、pnがexp(n)にほぼ達するまで許容される。
• pn ≤ n かつ関連のあるおよび関連のない共変量の部分直交性を要件としない緩い同定可能性条件のもとで、リッジ回帰はℓ∞-一貫性を示す。
• 数値実験では、2段階手順がラッソおよび適応ラッソよりも高いスパース回復レートを示す。
• νn = (d²q log pn / (n sn))^{1/3} のとき、適切なチューニングのもとで、リッジ推定量は ∥β̂Ridge − β∗∥∞ = Op((√(sn log pn)/ndq)^{1/3}) を満たす。