[논문 리뷰] Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression

Hanzhong Liu, Bin Yu|arXiv (Cornell University)|2013. 06. 24.

Statistical Methods and Inference참고 문헌 37인용 수 6

한 줄 요약

이 논문은 고차원 희소 선형 모델에서 Lasso+mLS 및 Lasso+Ridge 추정량의 渐近적 불편성, 정규성, 오라클 성질을 확립한다. 유효한 추론을 위한 매개수 잔차 부트스트랩 절차를 제안하고, 두 방법 모두 편향이 지수적으로 빠르게 감소하며 평균 제곱 오차에 대해 최적의 $s/n$ 수렴 속도를 달성함을 증명한다.

ABSTRACT

We study the asymptotic properties of Lasso+mLS and Lasso+Ridge under the sparse high-dimensional linear regression model: Lasso selecting predictors and then modified Least Squares (mLS) or Ridge estimating their coefficients. First, we propose a valid inference procedure for parameter estimation based on parametric residual bootstrap after Lasso+mLS and Lasso+Ridge. Second, we derive the asymptotic unbiasedness of Lasso+mLS and Lasso+Ridge. More specifically, we show that their biases decay at an exponential rate and they can achieve the oracle convergence rate of $s/n$ (where $s$ is the number of nonzero regression coefficients and $n$ is the sample size) for mean squared error (MSE). Third, we show that Lasso+mLS and Lasso+Ridge are asymptotically normal. They have an oracle property in the sense that they can select the true predictors with probability converging to 1 and the estimates of nonzero parameters have the same asymptotic normal distribution that they would have if the zero parameters were known in advance. In fact, our analysis is not limited to adopting Lasso in the selection stage, but is applicable to any other model selection criteria with exponentially decay rates of the probability of selecting wrong models.

연구 동기 및 목표

• 고차원 희소 선형 모델에서 Lasso+mLS 및 Lasso+Ridge 추정량의 渐近적 불편성과 정규성을 확립하기.
• Lasso 기반 선택 이후에 매개수 잔차 부트스트랩을 사용한 유효한 추론 절차 개발하기.
• 두 방법 모두 평균 제곱 오차에 대해 오라클 수렴 속도 $s/n$를 달성함을 보여주기.
• 추정량이 오라클 성질을 갖는다는 것을 증명하기: 올바른 모델 선택이 일관되며, 진짜 모델이 알려진 것처럼 점근적으로 정규 분포를 가짐.
• Lasso를 초월하여 모델 선택 오차율이 지수적으로 감소하는 모든 모델 선택 기준으로의 분석 확장하기.

제안 방법

• Lasso+mLS 및 Lasso+Ridge 추정량의 표본 분포를 근사하기 위한 매개수 잔차 부트스트랩 절차를 제안한다.
• Lasso 기반 선택 후 고차원 설정에서의 점근적 행동을 분석하며, 이때 $p$와 $s$는 $n$과 함께 증가하며, $s$는 비영계수의 수이다.
• 모델 선택 일관성을 확보하기 위해 Irrepresentable 조건과 제한된 고유값 유형의 가정을 사용한다.
• 집중 불등식과 거리 기반 경계(예: $d^2$)를 적용하여 잔차의 경험적 분포와 진짜 분포 사이의 격차를 통제한다.
• 약한 규칙성 조건 하에서 $\ell_2$ 및 $\ell_1$ 노름을 사용하여 추정 오차의 수렴 속도를 유도한다.
• 모델 선택 이후 고차원 환경에서 중심극한정리 조건이 충족됨을 확인하여 점근적 정규성을 확립한다.

실험 결과

연구 질문

• RQ1 Lasso+mLS 및 Lasso+Ridge는 고차원 희소 선형 모델에서 점근적으로 불편성이 없을 수 있는가?
• RQ2 이 두 단계 추정량은 평균 제곱 오차에 대해 오라클 수렴 속도 $s/n$를 달성하는가?
• RQ3 Lasso+mLS 및 Lasso+Ridge는 점근적으로 정규분포를 따르며, 진짜 모델이 알려진 것처럼 동일한 점근적 분포를 가질 수 있는가?
• RQ4 잔차 부트스트랩 절차는 이러한 두 단계 추정량에 대해 유효한 추론을 제공할 수 있는가?
• RQ5 모델 선택 오차율이 잘못된 모델 선택에 대해 지수적으로 감소하는 경우, 분석은 Lasso를 초월하여 다른 모델 선택 방법으로도 확장 가능한가?

주요 결과

• Lasso+mLS 및 Lasso+Ridge는 점근적으로 불편성이 있으며, 표본 크기가 증가함에 따라 편향이 지수적으로 감소한다.
• 두 방법 모두 평균 제곱 오차에 대해 최적의 $s/n$ 수렴 속도를 달성하며, 오라클 속도와 일치한다.
• 추정량은 점근적으로 정규분포를 따르며, $\beta^*$의 진짜 지원이 사전에 알려져 있는 것과 동일한 점근적 분포를 가진다.
• 제안된 매개수 잔차 부트스트랩 절차는 규칙성 조건 하에서 두 단계 추정량에 대해 유효한 추론을 제공한다.
• 오라클 성질이 성립한다: 올바른 모델을 선택할 확률은 1로 수렴하며, 비영계수의 추정치는 점근적으로 정규분포를 따른다.
• 이론적 프레임워크는 Lasso뿐 아니라 모델 선택 오차율이 지수적으로 감소하는 모든 모델 선택 기준에도 적용 가능하다.