[論文レビュー] On the $\ell_1-\ell_q$ Regularized Regression

Han Liu, Jian Zhang|ArXiv.org|Feb 11, 2008

Statistical Methods and Inference参考文献 29被引用数 5

ひとこと要約

本稿は、高次元的グループ変数選択のためのℓ₁–ℓ_q正則化回帰を研究し、固定設計および確率的設計の下で推定および変数選択の一致性を確立する。Lasso（q=1）、グループLasso（q=2）、iCAP（q=∞）の理論的分析を統一し、群のサイズが標本サイズとともに増加する場合でさえも、Lassoの主要な性質がより広範なℓ₁–ℓ_qフレームワークに拡張されることを示す。

ABSTRACT

In this paper we consider the problem of grouped variable selection in high-dimensional regression using $\ell_1-\ell_q$ regularization ($1\leq q \leq \infty$), which can be viewed as a natural generalization of the $\ell_1-\ell_2$ regularization (the group Lasso). The key condition is that the dimensionality $p_n$ can increase much faster than the sample size $n$, i.e. $p_n \gg n$ (in our case $p_n$ is the number of groups), but the number of relevant groups is small. The main conclusion is that many good properties from $\ell_1-$regularization (Lasso) naturally carry on to the $\ell_1-\ell_q$ cases ($1 \leq q \leq \infty$), even if the number of variables within each group also increases with the sample size. With fixed design, we show that the whole family of estimators are both estimation consistent and variable selection consistent under different conditions. We also show the persistency result with random design under a much weaker condition. These results provide a unified treatment for the whole family of estimators ranging from $q=1$ (Lasso) to $q=\infty$ (iCAP), with $q=2$ (group Lasso)as a special case. When there is no group structure available, all the analysis reduces to the current results of the Lasso estimator ($q=1$).

研究の動機と目的

• 高次元的設定におけるグループ変数選択のためのℓ₁-正則化（Lasso）の理論的性質を、より広範なℓ₁–ℓ_qフレームワークに拡張すること。
• 群のサイズが標本サイズとともに増加する場合でさえも、固定設計および確率的設計の下でℓ₁–ℓ_q推定量の推定および変数選択の一貫性を確立すること。
• Lasso（q=1）、グループLasso（q=2）、iCAP（q=∞）を含む既存手法の分析を統一し、それらの良好な性質が連続的な族の一部であることを示すこと。
• 同時Lasso推定量の理論的妥当性を示し、それがℓ₁–ℓ_∞正則化の特別な場合であることを示すこと。
• 確率的設計のもとで予測リスクがオラクルリスクに収束する恒続性を示す条件を導出し、従来の結果よりも弱い仮定で成立させること。

提案手法

• ℓ_qノルムを各変数群に適用するℓ₁–ℓ_q正則化回帰を提案し、LassoおよびグループLassoの一般化として位置づける。
• スパarsityおよびグループ構造の仮定の下で、固定設計フレームワークを用いて推定および変数選択の一貫性を導出する。
• 従来の研究よりも弱い条件を用いた確率的設計における恒続性結果を適用し、予測リスクがオラクルリスクに確率的に収束することを示す。
• Kronecker積を用いて、同時Lasso推定量をℓ₁–ℓ_∞正則化回帰問題に変換するブロックワイド設計変換を採用する。
• 設計行列の共分散差のsupノルム制御を用いて、経験的リスクと母集団リスクの差の境界を導出する。
• スパarsityオラクル不等式およびℓ₁–ℓ_q推定量の収束速度を確立し、真のスパarsityレベルに適応することを示す。

実験結果

リサーチクエスチョン

• RQ1 群の数p_nが標本サイズnより速く増加するとき、ℓ₁–ℓ_q推定量が固定設計のもとで推定一貫性を満たす条件は何か？
• RQ2 ℓ₁–ℓ_q推定量が変数選択一貫性を満たすとは、すなわち真の非ゼロ群の集合を正しく特定できるとは、どのような場合か？
• RQ3 ℓ₁–ℓ_q推定量の理論的性能はqにどのように依存するか。特にq=1（Lasso）、q=2（グループLasso）、q=∞（iCAP）の間でどのように変化するか？
• RQ4 弱い仮定で成立する確率的設計のもとで、恒続性（予測リスクがオラクルリスクに収束する性質）を確立できるか？
• RQ5 同時Lasso推定量は、ℓ₁–ℓ_q正則化の特別な場合として、どの程度理論的に正当化できるか？

主な発見

• 固定設計のもとで、正則化パrameter λ_n が λ_n = o(1) を満たし、群スパarsity s_n が n に対してゆっくりと増加する場合、ℓ₁–ℓ_q推定量は推定一貫性を達成する。
• 変数選択一貫性は、不要な群が正しく除外されるのを保証するより強いirrepresentability型条件の下で確立される。
• 確率的設計のもとで、従来の結果よりも弱い条件下で推定量は恒続性一貫性を示し、予測リスクが確率的にオラクルリスクに収束する。
• 適切な正則性条件下では、ℓ₁–ℓ_q推定量の収束速度は O_p( (s_n log p_n)/n )^{1/2} となる。これはスパース領域における既知のLassoのレートと一致する。
• 同時Lasso推定量がℓ₁–ℓ_∞正則化回帰問題と等価であることが示され、本稿の理論的結果の直接適用が可能になる。
• 本稿の分析により、Lasso（q=1）、グループLasso（q=2）、iCAP（q=∞）の理論的性質が統一され、それらの一貫性およびオラクル性質が連続的な推定量族の一部であることが示された。