[논문 리뷰] On the $\ell_1-\ell_q$ Regularized Regression

Han Liu, Jian Zhang|ArXiv.org|2008. 02. 11.

Statistical Methods and Inference참고 문헌 29인용 수 5

한 줄 요약

이 논문은 고차원 그룹 변수 선택을 위한 ℓ₁–ℓ_q 정규화 회귀를 연구하며, 고정 설계와 랜덤 설계 하에서 추정 및 변수 선택 일致성을 확립한다. Lasso (q=1), 그룹 Lasso (q=2), iCAP (q=∞)의 이론적 분석을 통합하여, 그룹 크기가 표본 크기와 함께 증가하는 경우에도 핵심 Lasso 성질이 더 넓은 ℓ₁–ℓ_q 프레임워크로 확장됨을 보여준다.

ABSTRACT

In this paper we consider the problem of grouped variable selection in high-dimensional regression using $\ell_1-\ell_q$ regularization ($1\leq q \leq \infty$), which can be viewed as a natural generalization of the $\ell_1-\ell_2$ regularization (the group Lasso). The key condition is that the dimensionality $p_n$ can increase much faster than the sample size $n$, i.e. $p_n \gg n$ (in our case $p_n$ is the number of groups), but the number of relevant groups is small. The main conclusion is that many good properties from $\ell_1-$regularization (Lasso) naturally carry on to the $\ell_1-\ell_q$ cases ($1 \leq q \leq \infty$), even if the number of variables within each group also increases with the sample size. With fixed design, we show that the whole family of estimators are both estimation consistent and variable selection consistent under different conditions. We also show the persistency result with random design under a much weaker condition. These results provide a unified treatment for the whole family of estimators ranging from $q=1$ (Lasso) to $q=\infty$ (iCAP), with $q=2$ (group Lasso)as a special case. When there is no group structure available, all the analysis reduces to the current results of the Lasso estimator ($q=1$).

연구 동기 및 목표

• 고차원 설정에서 그룹 변수 선택을 위한 ℓ₁-정규화(Lasso)의 이론적 성질을 더 넓은 ℓ₁–ℓ_q 프레임워크로 확장하는 것.
• 그룹 크기가 표본 크기와 함께 증가하는 경우에도 고정 설계와 랜덤 설계 하에서 ℓ₁–ℓ_q 추정기의 추정 및 변수 선택 일치성을 확립하는 것.
• Lasso (q=1), 그룹 Lasso (q=2), iCAP (q=∞)를 포함한 기존 방법의 분석을 통합하여, 이들의 유리한 성질이 연속적인 가족의 일부임을 보여주는 것.
• 동시 Lasso 추정기의 이론적 근거를 제시하기 위해, 이것이 ℓ₁–ℓ_∞ 정규화의 특수한 경우임을 보여주는 것.
• 랜덤 설계 하에서 예측 위험의 수렴이 오라클 위험으로 향하는 조건을 이전 결과보다 더 약한 조건으로 유도하는 것.

제안 방법

• 변수의 각 그룹 내에서 ℓ_q 노름을 적용하는 방식으로 Lasso와 그룹 Lasso의 일반화로 ℓ₁–ℓ_q 정규화 회귀를 제안한다.
• 희박성과 그룹 구조 가정 하에서 고정 설계 프레임워크를 사용하여 추정 및 변수 선택 일치성을 도출한다.
• 이전 작업보다 더 약한 조건을 사용하여 랜덤 설계 하에서 지속성 결과를 적용하여 예측 위험이 오라클 위험으로 수렴함을 보인다.
• 크로네커乘법을 통해 동일한 Lasso 추정기를 ℓ₁–ℓ_∞ 정규화 회귀 문제로 변환하기 위해 블록 단위 설계 전환을 활용한다.
• 설계 행렬 공분산 차이의 초위상 노름 제어를 통해 경험 위험과 인구 위험 간의 차이에 대한 경계를 유도한다.
• ℓ₁–ℓ_q 추정기의 희박성 오라클 부등식과 수렴 속도를 확립하여, 진짜 희박성 수준에 적응함을 보여준다.

실험 결과

연구 질문

• RQ1 그룹 수 p_n이 표본 크기 n보다 더 빨리 증가할 때, ℓ₁–ℓ_q 추정기가 고정 설계 하에서 추정 일치성을 확보할 수 있는 조건은 무엇인가?
• RQ2 ℓ₁–ℓ_q 추정기가 변수 선택 일치성을 보일 조건은 무엇인가, 즉 참으로 비영인 그룹을 정확히 식별할 수 있는가?
• RQ3 q에 따라 ℓ₁–ℓ_q 추정기의 이론적 성능은 어떻게 달라지며, 특히 q=1(Lasso), q=2(그룹 Lasso), q=∞(iCAP)에서 어떻게 변화하는가?
• RQ4 더 약한 가정 하에서 랜덤 설계 하에서도 지속성 성질(예측 위험이 오라클 위험로 수렴함)을 확립할 수 있는가?
• RQ5 동시 Lasso 추정기는 ℓ₁–ℓ_q 정규화의 특수한 경우로 이론적으로 얼마나 잘 정당화될 수 있는가?

주요 결과

• 고정 설계 하에서 정규화 매개변수 λ_n이 λ_n = o(1)를 만족하고, 그룹 희박성 s_n이 n에 대해 느리게 증가할 경우 ℓ₁–ℓ_q 추정기는 추정 일치성을 확보한다.
• 변수 선택 일치성은 더 강한 비표현성 유형 조건 하에서 확립되며, 이는 관련이 없는 그룹이 정확히 제외됨을 보장한다.
• 랜덤 설계 하에서는 이전 결과보다 더 약한 조건 하에서 추정기가 지속성 일치성을 보이며, 예측 위험이 확률적으로 오라클 위험로 수렴한다.
• 적절한 정규성 조건 하에서 ℓ₁–ℓ_q 추정기의 수렴 속도는 O_p( (s_n log p_n)/n )^{1/2} 이며, 희박 영역에서 알려진 Lasso 속도와 일치한다.
• 동시 Lasso 추정기가 ℓ₁–ℓ_∞ 정규화 회귀 문제와 동치임을 보여주어, 본 논문의 이론적 결과를 직접 적용할 수 있음을 밝혔다.
• Lasso (q=1), 그룹 Lasso (q=2), iCAP (q=∞)의 이론적 성질을 통합 분석하여, 이들의 일치성 및 오라클 성질이 연속적인 추정기 가족의 일부임을 입증한다.