[논문 리뷰] Rank-based Lasso -- efficient methods for high-dimensional robust model selection

Wojciech Rejchel, Małgorzata Bogdan|arXiv (Cornell University)|2019. 05. 14.

Statistical Methods and Inference참고 문헌 53인용 수 5

한 줄 요약

이 논문은 반응값을 순위로 치환하고 Lasso 회귀를 적용함으로써 고차원적이고 강건한 모델 선택을 위한 계산적으로 효율적인 방법인 RankLasso를 제안한다. 이는 임계값을 적용한 버전과 적응형 RankLasso 버전을 도입하여, 무거운 尾 비정규 오차와 비선형 연결 함수가 존재하는 경우에도 모델 선택 일致성을 확보하며, 시뮬레이션과 실제 데이터에서 LADLasso를 능가한다.

ABSTRACT

We consider the problem of identifying significant predictors in large data bases, where the response variable depends on the linear combination of explanatory variables through an unknown link function, corrupted with the noise from the unknown distribution. We utilize the natural, robust and efficient approach, which relies on replacing values of the response variables by their ranks and then identifying significant predictors by using well known Lasso. We provide new consistency results for the proposed procedure (called ,,RankLasso") and extend the scope of its applications by proposing its thresholded and adaptive versions. Our theoretical results show that these modifications can identify the set of relevant predictors under much wider range of data generating scenarios than regular RankLasso. Theoretical results are supported by the simulation study and the real data analysis, which show that our methods can properly identify relevant predictors, even when the error terms come from the Cauchy distribution and the link function is nonlinear. They also demonstrate the superiority of the modified versions of RankLasso in the case when predictors are substantially correlated. The numerical study shows also that RankLasso performs substantially better in model selection than LADLasso, which is a well established methodology for robust model selection.

연구 동기 및 목표

• 예측 변수와 반응 변수 간 진정한 관계가 알려져 있지 않으며 비선형일 수 있는 고차원 모델 선택 문제에 대응한다.
• 복잡한 손실 함수와 최적화 알고리즘에 의존하는 기존의 강건한 페널라이제이션 방법에 대한 계산적으로 효율적인 대안을 개발한다.
• 무거운 尾 오차 분포와 알려지지 않은 연결 함수를 포함한 약한 분포 가정 하에서도 모델 선택 일치성을 확보한다.
• 예측 변수 상관관계 하에서의 유한 표본 성능과 선택 정확도를 향상시키기 위해 RankLasso에 임계값 적용 및 적응형 버전을 확장한다.
• 표준 Lasso와 LADLasso가 비정규 오차 또는 모형 불일치로 실패하는 상황에서 제안된 방법의 강건성과 우수성을 입증한다.

제안 방법

• 이상치에 민감도를 낮추고 알려지지 않은 오차 분포에 덜 민감하게 하기 위해 관측된 반응값 $Y_i$를 중심화된 순위 $R_i/n - 0.5$로 치환한다.
• 순위 기반 Lasso 추정량을 표준 Lasso 문제로 재구성하여 선형 예측자와 순위 반응값 간의 제곱 오차를 최소화한다: $\hat{\theta} = \arg\min_\theta \frac{1}{2n}\sum_{i=1}^n (R_i/n - 0.5 - \theta^T X_i)^2 + \lambda \|\theta\|_1$.
• 초기 추정치 $\tilde{\theta}_j$를 활용해 $l_1$ 페널티에 가중치를 적용함으로써 적응형 RankLasso를 도입하여 선택 일치성을 향상시킨다. 이때 페널티는 $\lambda \sum_j |\theta_j| / |\tilde{\theta}_j|$ 형태를 취한다.
• 추정 후 작은 계수를 0으로 설정하는 임계값 적용 RankLasso를 제안하여 더 높은 희박성과 선택 정확도를 달성한다.
• 에피수렴과 $U$-통계량 기반의 渐近 이론을 활용하여, 최소한의 가정 하에 추정량의 일치성과 渐近 정규성을 도출한다.
• $\sqrt{n}(\hat{\theta} - \theta^*)$의 수렴 결과를 활용하여 수정된 RankLasso 변형의 渐近 정규성과 모델 선택 일치성을 확립한다.

실험 결과

연구 질문

• RQ1 알 수 없는 연결 함수와 무거운 尾 오차를 가진 고차원 설정에서 순위 기반 접근법이 관련 예측 변수를 일관되게 식별할 수 있는가?
• RQ2 예측 변수 상관관계와 비정규 오차 하에서 임계값 적용 및 적응형 RankLasso는 표준 RankLasso에 비해 모델 선택 성능을 얼마나 향상시키는가?
• RQ3 선택 정확도와 계산 효율성 측면에서 RankLasso는 LADLasso와 비교해 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 적응형 및 임계값 적용 RankLasso 추정량이 어떤 조건에서 모델 선택 일치성을 달성하는가?
• RQ5 오차 분포의 분산이 무한대인 코시 분포와 같은 경우 RankLasso는 높은 검정력과 낮은 거짓 발견률을 유지할 수 있는가?

주요 결과

• 적응형 및 임계값 적용 RankLasso 추정량은 표준 RankLasso보다 더 넓은 조건 하에서 모델 선택 일치성($\mathbb{P}(\hat{T}^a = T) \to 1$)을 달성하며, 오차 분포의 분산이 무한대일 경우에도 성립한다.
• 임계값 적용 RankLasso는 예측 변수 상관관계가 높고 비정규 오차가 존재하는 상황에서도 진짜 모델을 확률이 1에 수렴하는 방식으로 정확히 식별한다.
• 시뮬레이션 연구 결과, RankLasso는 오차가 코시 분포를 따를 경우를 포함한 다양한 상황에서 높은 검정력과 낮은 거짓 발견률(FDR)을 유지한다.
• 유전자 발현 데이터에 대한 실제 데이터 분석 결과, 이상치가 존재하는 상황에서 LADLasso보다 RankLasso가 관련 예측 변수를 더 정확하게 식별함을 확인하였다.
• 적응형 RankLasso 추정량은 渐近 정규성을 확보하며 일관된 변수 선택을 달성하며, $\sqrt{n}(\hat{\theta}^a_T - \theta^*_T) \to_d -H_1^{-1}(W_T + \bar{c})$를 만족한다.
• 제안된 방법은 특히 고차원이고 오차가 무거운 尾을 가지는 설정에서 LADLasso에 비해 계산 속도와 선택 정확도 측면에서 뚜렷한 우월성을 보였다.