[논문 리뷰] Comparisons of penalized least squares methods by simulations

Ke Zhang, Fan Yin외 1명|arXiv (Cornell University)|2014. 05. 08.

Statistical Methods and Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 $ n > p $ 인 고차원 선형 모델에서 lasso, 비음성 가로트, SCAD, MCP, 엘라스틱 넷, 적응형 lasso와 같은 정규화된 최소제곱 방법들을 몬테카를로 시뮬레이션을 통해 비교한다. 변수 선택 정확도와 추정 정확도를 평가한 결과, 적응형 lasso, SCAD, MCP는 낮은 오차와 높은 선택 정확도를 보이며 고차원 설정에서 뛰어난 성능을 보였고, lasso와 엘라스틱 넷은 낮은 상관관계와 고차원성 조건에서 성능이 열 劣하였다.

ABSTRACT

Penalized least squares methods are commonly used for simultaneous estimation and variable selection in high-dimensional linear models. In this paper we compare several prevailing methods including the lasso, nonnegative garrote, and SCAD in this area through Monte Carlo simulations. Criterion for evaluating these methods in terms of variable selection and estimation are presented. This paper focuses on the traditional n > p cases. For larger p, our results are still helpful to practitioners after the dimensionality is reduced by a screening method. K

연구 동기 및 목표

• 고차원 선형 모델에서 주요 정규화된 최소제곱 방법의 성능을 평가하고 비교하기.
• 다양한 상관관계 구조와 노이즈 수준에서 변수 선택 정확도와 추정 오차(MSE)를 평가하기.
• 표본 크기, 노이즈 분산, 차원 수가 방법 성능에 미치는 영향을 분석하기.
• 시뮬레이션 결과를 바탕으로 실무자들이 방법을 선택하는 데 실용적인 지침을 제공하기.
• 고차원 설정에서의 계산 효율성과 확장성에 대해 방법 성능을 조사하기.

제안 방법

• 표준화된 공변량과 중심화된 반응변수를 사용하여 OLS 및 리지 추정량이 타당해지도록 하는 고차원 선형 모델을 시뮬레이션한다.
• 상관관계($ \rho $), 노이즈 분산($ \sigma $), 표본 크기($ n $), 차원($ p $)를 변화시켜 방법 성능을 평가하기 위해 몬테카를로 시뮬레이션을 실시한다.
• 추정 정확도 평가에 주로 평균제곱오차(MSE)와 예측오차(ME)를 사용하고, 변수 선택 평가에 두 가지 오분류율(IC1 및 IC2)을 사용한다.
• 리지 및 비음성 가로트의 튜닝 파rameter 선택에는 일반화된 교차검증(GCV)을 적용하고, NG 및 적응형 lasso의 경우 BIC/AIC 기반 기준을 사용한다.
• 모든 방법은 표준 R 및 MATLAB 함수를 사용하여 구현한다: OLS는 `lm`, 비음성 가로트는 `quadprog`, lasso 및 엘라스틱 넷은 `glmnet`을 사용한다.
• 표본 크기 $ n = 1000 $, 차원 $ p = 100 $, 상관관계 $ \rho = 0.5 $ 조건에서 계산 시간을 측정하여 방법 간의 계산 시간을 비교한다. 시간 측정은 Intel Core i3-380를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 상관관계 구조에서 lasso, SCAD, MCP, 적응형 lasso, 비음성 가로트의 변수 선택 정확도(IC1 및 IC2)는 어떻게 되는가?
• RQ2 노이즈 수준($ \sigma $)과 표본 크기($ n $)가 각 방법의 추정 오차(MSE)와 예측오차(ME)에 미치는 영향은 무엇인가?
• RQ3 일부 진짜 계수값이 0에 가깝지만 정확히 0이 아닌 거의 희박한 모델에서는 각 방법의 성능은 어떻게 되는가?
• RQ4 특히 $ p > 100 $ 인 고차원 설정에서 각 방법의 계산 비용은 어떠한가?
• RQ5 충분한 표본 크기와 낮은 노이즈 조건에서 오라클 성질(낮은 MSE를 동반한 정확한 변수 선택)을 달성하는 방법은 무엇인가?

주요 결과

• 표본 크기가 크고 노이즈가 낮을 때 적응형 lasso는 가장 높은 변수 선택 정확도(가장 낮은 IC2)를 보이며 오라클 성질을 입증한다.
• SCAD와 MCP는 고차원 설정($ p = 300 $)에서 다른 방법보다 뛰어나게 안정적이고 낮은 추정 오차(MSE)와 높은 선택 정확도를 보인다.
• Lasso와 엘라스틱 넷은 상관관계($ \rho $)가 낮을 경우, 특히 작은 표본($ n = 40 $)에서 더 높은 예측오차(ME)와 열 劣한 변수 선택 성능을 보인다.
• 비음성 가로트(NG) 방법 중 NG(BIC)와 NG-ridge(BIC)는 NG(AIC)보다 우수하며 고노이즈 조건에서도 강건성을 보이지만, $ p $가 증가함에 따라 변수 선택 정확도가 열 劣한다.
• 엘라스틱 넷은 보수적인 트레이드오프를 제공하여 거짓 양성(제1오류, IC1)을 줄이지만, 특히 $ \rho $가 낮을 경우 거짓 음성(제2오류, IC2)을 증가시킨다.
• 적응형 lasso는 반복 재가중 기법으로 인해 계산 시간이 가장 길며, lasso와 엘라스틱 넷은 고차원에서 특히 빠른 편이다.