[논문 리뷰] Big Data Analysis Using Shrinkage Strategies

Yuzbasi, B., ‎M‎ohammad Arashi외 1명|arXiv (Cornell University)|2017. 04. 17.

Statistical Methods and Inference참고 문헌 27인용 수 6

한 줄 요약

이 논문은 고차원 희박 선형 모델에서 예측 정확도를 향상시키기 위해, 경계가 있고 가측 가능한 가중치 함수를 사용하여 과소적합(하위모델) 및 과잉적합(전체 모델) 회귀 추정치를 조합하는 이중 수축 추정량을 제안한다. 시뮬레이션 및 실데이터 연구에서 LASSO, 적응형 LASSO 및 기타 수축 추정량보다 유의미하게 뛰어난 성능을 보이며, 특히 약한 신호가 존재할 경우에 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we apply shrinkage strategies to estimate regression coefficients efficiently for the high-dimensional multiple regression model, where the number of samples is smaller than the number of predictors. We assume in the sparse linear model some of the predictors have very weak influence on the response of interest. We propose to shrink estimators more than usual. Specifically, we use integrated estimation strategies in sub and full models and shrink the integrated estimators by incorporating a bounded measurable function of some weights. The exhibited double shrunken estimators improve the prediction performance of sub models significantly selected from existing Lasso-type variable selection methods. Monte Carlo simulation studies as well as real examples of eye data and Riboavin data confirm the superior performance of the estimators in the high-dimensional regression model.

연구 동기 및 목표

• 표본 수보다 예측 변수의 수가 많은 고차원 회귀 모델에서 예측 정확도를 향상시키는 것.
• 표준 변수 선택 방법에 편향을 유도할 수 있는 희박 선형 모델 내 약한 영향을 미치는 예측 변수 문제를 다루는 것.
• 예측 오차를 줄이기 위해 과소적합 모델과 과잉적합 모델의 추정치를 통합하는 수축 전략을 개발하는 것.
• 기존 수축 방법을 확장하여 수축 정도를 제어하는 경계가 있고 가측 가능한 함수를 도입하는 것.
• 제안된 추정량의 성능을 시뮬레이션 및 실제 고차원 데이터 세트에서 평가하는 것.

제안 방법

• 이 방법은 예측 변수의 경계가 있고 가측 가능한 가중치 함수를 사용하여 하위모델(과소적합) 및 전체 모델(과잉적합)의 추정치를 조합하여 이중 수축 추정량을 구성한다.
• 가중치 함수는 전체 모델 추정량을 하위모델 추정량 쪽으로 수축시키도록 설계되며, 비선형 함수에 의한 비비율 중심성 매개변수 Δ의 함수로 수축 정도를 제어한다.
• 특정 추정량인 FS1, FS3, PS가 제안되며, FS3는 제곱 비비율 중심성 매개변수의 지수 함수에 기반한 가중치 함수를 사용한다.
• 성능 평가를 위해 부트스트랩 리샘플링과 5개의 교차검증 폴드를 사용하여 예측 오차(PE) 및 상대 예측 오차(RPE)를 계산한다.
• 이 방법은 두 가지 실제 데이터 세트에 적용되었으며, 각각 눈 유전자 발현 데이터(n=120, p=200)와 라이보플라빈 생산 데이터(n=71, p=4088)이다.
• 추가로 추정량인 FS2가 제안되었지만, 과잉적합 모델로 수렴하는 경향으로 인해 특히 Δ가 작은 경우 성능이 열 劣하므로, 다른 추정량보다 열 劣하였다.

실험 결과

연구 질문

• RQ1 경계가 있고 가측 가능한 가중치 함수를 통해 과소적합 및 과잉적합 모델 추정치를 통합하면 고차원 회귀에서 예측 정확도가 향상되는가?
• RQ2 약한 신호가 존재할 경우 제안된 이중 수축 추정량은 LASSO 및 적응형 LASSO와 비교해 어떻게 성능을 발휘하는가?
• RQ3 약한 신호 영향의 크기(Δ)가 변할 때 이중 수축 추정량의 성능은 얼마나 강인한가?
• RQ4 작은 n과 큰 p를 가진 실제 고차원 데이터 세트에서 제안된 추정량은 어떻게 성능을 발휘하는가?
• RQ5 수축 과정에서 비선형 가중치 함수를 사용하는 데 이론적 또는 실증적 이점이 있는가?

주요 결과

• 눈 데이터 세트에서는 FS3 추정량이 평균 상대 예측 오차(RPE = 1.0626)를 기록하여 LASSO(1.0598) 및 기타 추정량보다 뛰어난 성능을 보였다.
• 라이보플라빈 데이터 세트에서는 FS3의 RPE가 1.0273이었으며, PS(1.0225) 및 FS1(1.0222)보다 略 높은 성능을 보였지만, ALASSO의 RPE(0.9509)는 더 낮았다.
• 약한 신호의 크기(Δ)가 증가함에 따라 ALASSO 추정량의 RMSE는 0에 수렴하는 반면, FS3의 RMSE는 다른 추정량보다 항상 낮게 유지되었다.
• 시뮬레이션 결과에서 Δ = 0일 때 FS3는 FS1 및 PS를 항상 우월하게 성능을 발휘하여 약한 신호 존재 상황에서도 강인함을 입증하였다.
• 제안된 FS2 추정량은 특히 Δ가 작은 경우 과잉적합 모델로 수렴하는 경향으로 인해 FS3 및 PS에 열 劣하였다.
• 이중 수축 전략은 특히 약한 및 중간 정도의 신호가 존재할 경우 기존 LASSO 및 적응형 LASSO보다 예측 성능을 유의미하게 향상시켰다.