[논문 리뷰] Restricted LASSO and Double Shrinking

Mina Norouzirad, ‎M‎ohammad Arashi외 1명|arXiv (Cornell University)|2015. 05. 12.

Statistical Methods and Inference참고 문헌 10인용 수 7

한 줄 요약

이 논문은 변수 선택과 선형 제약 조건을 동시에 고려하는 Restricted LASSO 추정기와 세 가지 LASSO 유형의 추정기를 제안하며, 이는 이중 수축 프레임워크를 기반으로 한다. 주요 기여는 이러한 추정기가 예측 정확도와 위험 측면에서 고전적 LASSO보다 뛰어나며, 특히 부분공간 제약 조건 하에서 성능이 뛰어나다는 점이다. 이는 渐近 이론과 전립선암 데이터 분석을 통해 입증되었다.

ABSTRACT

In the context of multiple regression model, suppose that the vector parameter of interest βis subjected to lie in the subspace hypothesis Hβ= h, where this restriction is based on either additional information or prior knowledge. Then, the restricted estimator performs fairly well than the ordinary least squares one. In addition, when the number of variables is relatively large with respect to observations, the use of least absolute shrinkage and selection operator (LASSO) estimator is suggested for variable selection purposes. In this paper, we deffine a restricted LASSO estimator and configure three classes of LASSO-type estimators to fulfill both variable selection and restricted estimation. Asymptotic performance of the proposed estimators are studied and a simulation is conducted to analyze asymptotic relative efficiencies. The application of our result is considered for the prostate dataset where the expected prediction errors and risks are compared. It has been shown that the proposed shrunken LASSO estimators, resulted from double shrinking methodology, perform better than the classical LASSO.

연구 동기 및 목표

• 선형 제약 조건을 알고 있는 경우에 회귀 계수에 대한 제약 조건을 통합하여 추정 효율성을 향상시키는 LASSO 유형의 추정기를 개발하는 것.
• 고차원 설정에서 파rameter 공간에 대한 사전 지식이 있는 경우 고전적 LASSO의 한계를 해결하는 것.
• 제약 조건 기반 수축과 LASSO 유형 수축을 융합한 이중 수축 방법론을 제안하여 예측 정확도를 향상시키는 것.
• 정규 조건 하에서 제안된 추정기의 渐近 성질을 수립하는 것.
• 시뮬레이션과 전립선암 데이터셋을 활용한 실제 응용을 통해 성능을 평가하는 것.

제안 방법

• 선형 제약 조건 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 하에서 잔차 제곱합을 최소화하는 Restricted LASSO 추정기를 제안하며, 이를 펜라이즈드 우도 프레임워크를 사용한다.
• Preliminary Test LASSO, Stein-type Shrinkage LASSO, 그리고 제약 조건과 수축을 융합한 새로운 이중 수축 제약 LASSO (PRSL)를 포함한 세 가지 유형의 추정기를 유도한다.
• Sluskey의 정리와 확률적 수렴을 이용하여 $ \tilde{\boldsymbol{\beta}}_n \to \boldsymbol{\beta} $ 하에서 渐近 분포 이론을 적용하여 극한 분포를 유도한다.
• 기본으로 고전적 LASSO의 튜닝 파ram터 $ \tilde{\boldsymbol{\beta}}^{L} $ 를 사용하고, 제약 조건을 만족시키기 위해 $ C_n^{-1}H^T(HC_n^{-1}H^T)^{-1} $ 를 통해 수축 보정을 적용한다.
• LASSO 수축과 제약 조건 기반 수축을 조합한 이중 수축 메커니즘을 적용하며, 데이터 기반의 $ k_n $ 와 $ \tilde{\boldsymbol{\beta}}^{RL}_n $ 를 통해 제어한다.
• 제약 조건의 타당성을 검증하기 위해 우도 비율 검정을 사용하고, 제약 조건 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 를 만족하는지 여부에 따라 추정기를 전환하기 위해 indicator 함수 $ I(\tilde{\boldsymbol{\beta}}^{L}_n \text{ satisfies } H\boldsymbol{\beta} = \boldsymbol{h}) $ 를 활용한다.

실험 결과

연구 질문

• RQ1 알려진 선형 제약 조건을 포함하는 방식으로 LASSO 추정기를 수정하여 추정 효율성을 향상시킬 수 있는가?
• RQ2 제안된 이중 수축 추정기의 성능은 예측 오차와 위험 측면에서 고전적 LASSO와 비교하여 어떻게 되는가?
• RQ3 정규 조건 하에서 제안된 제약 LASSO와 그 변형의 渐近 분포는 무엇인가?
• RQ4 사전 지식을 제약 조건을 통해 통합함으로써, 표준 LASSO에 비해 평균 제곱 오차가 유의미하게 감소하는가?
• RQ5 제약 조건의 타당성 수준과 표본 크기가 다를 경우 추정기의 성능은 어떻게 변하는가?

주요 결과

• 제안된 이중 수축 제약 LASSO (PRSL) 추정기는 전립선암 데이터셋에서 고전적 LASSO보다 낮은 기대 예측 오차와 위험을 기록한다.
• 渐近 이론에 따르면, 제약 LASSO 추정기 $ \tilde{\boldsymbol{\beta}}^{RL}_n $ 는 제약 조건 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 를 만족할 경우 일致성과 渐近 정규성을 확보한다.
• Stein-type Shrinkage LASSO 추정기 $ \tilde{\boldsymbol{\beta}}^{SSL}_n $ 는 $ k \times \text{argmin}(V) $ 를 포함한 수축 조정된 극한으로 확률적 수렴을 보이며, 정규 조건 하에서 $ k \to q-2 $ 로 수렴한다.
• Preliminary Test LASSO 추정기 $ \check{\boldsymbol{\beta}}^{PTL}_n $ 는 제약 조건이 타당할 경우 제약 LASSO와 유사하게 행동하고, 그렇지 않을 경우 고전적 LASSO와 유사하게 행동한다.
• 시뮬레이션 결과에 따르면, 제약 조건 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 가 참일 경우 제안된 추정기의 渐近 상대 효율성이 크게 향상된다.
• 이중 수축 메커니즘은 제약 조건 기반 수축과 LASSO 유형 수축을 융합함으로써 분산과 예측 오차를 효과적으로 감소시키며, 특히 $ p $ 가 $ n $ 에 비해 클 경우 두드러진 성능 향상을 보인다.