[논문 리뷰] A semi-automatic method to guide the choice of ridge parameter in ridge regression

Erika Cule, Maria De Iorio|arXiv (Cornell University)|2012. 05. 03.

Soil Geostatistics and Mapping참고 문헌 42인용 수 34

한 줄 요약

이 논문은 주성분 분해를 통해 유도된 효과적 자유도를 사용하여 예측값의 분산을 제어함으로써 리지 회귀에서 리지 파라미터를 반자동으로 선택하는 방법을 제안한다. 이 방법은 단변량 선택 및 HyperLasso보다 예측 정확도가 높으며, 관측 수보다 예측 변수 수가 많은 고차원 유전체 데이터에서 특히 효과적이다. 시뮬레이션과 양극성 장애 사례-대조 연구를 통해 이를 입증하였다.

ABSTRACT

We consider the application of a popular penalised regression method, Ridge Regression, to data with very high dimensions and many more covariates than observations. Our motivation is the problem of out-of-sample prediction and the setting is high-density genotype data from a genome-wide association or resequencing study. Ridge regression has previously been shown to offer improved performance for prediction when compared with other penalised regression methods. One problem with ridge regression is the choice of an appropriate parameter for controlling the amount of shrinkage of the coefficient estimates. Here we propose a method for choosing the ridge parameter based on controlling the variance of the predicted observations in the model. Using simulated data, we demonstrate that our method outperforms subset selection based on univariate tests of association and another penalised regression method, HyperLasso regression, in terms of improved prediction error. We extend our approach to regression problems when the outcomes are binary (representing cases and controls, as is typically the setting for genome-wide association studies) and demonstrate the method on a real data example consisting of case-control and genotype data on Bipolar Disorder, taken from the Wellcome Trust Case Control Consortium and the Genetic Association Information Network.

연구 동기 및 목표

• 예측 변수 수가 관측 수를 초과하는 고차원 회귀에서 최적의 리지 파라미터를 선택하는 데 도전하는 것.
• 특히 연관성이 높고 많은 상관관계를 가진 SNP를 포함한 유전체 연계 연구에서, 외부 샘플 예측 성능을 향상시키는 것.
• 유전적 예측 변수의 고차원성과 다중공선성에 대해 계산적으로 효율적이고 강건한 방법을 개발하는 것.
• 이를 바이너리 결과, 예를 들어 질병 예측에서의 사례-대조 상태로 확장하고 실제 유전체 데이터에서 검증하는 것.

제안 방법

• 이 방법은 설계 행렬의 주성분 분해를 사용하여 효과적 자유도를 통해 예측값의 분산을 제어함으로써 리지 파라미터를 선택한다.
• 트레이스 값 $ \text{tr}(\mathbf{H}\mathbf{H}^\prime) = r $ 가 되도록 리지 파라미터 $ k_r $ 를 계산한다. 여기서 $ r $ 은 사용된 주성분의 수이다.
• 성분 수 $ r $ 은 리지 추정치와 그 p-값의 안정성을 확보하기 위해 선택되며, 리지 트레이스에서 계수 경로와 p-값 곡선이 안정화되는 지점으로 식별된다.
• 예측 오차를 측정하기 위해 교차검증, 단변량 선택, HyperLasso와의 비교를 평균 제곱예측오차와 분류오차를 기준으로 수행한다.
• 이중 결과에 대해서는 동일한 $ k_r $ 파라미터를 사용하여 로지스틱 리지 회귀를 적용하고, 평균 분류오차를 통해 성능을 평가한다.
• 이 방법은 리지 수축과 자유도 간의 관계를 활용하여, $ r $ 이 적절히 선택될 경우 OLS 추정치에 가까운 추정치를 유지한다.

실험 결과

연구 질문

• RQ1 관측 수보다 예측 변수 수가 많은 고차원 유전체 데이터에서, 리지 파라미터 선택을 위한 반자동 방법이 예측 정확도를 향상시킬 수 있는가?
• RQ2 효과적 자유도를 통한 예측값 분산 제어가 교차검증 또는 단변량 선별에 비해 예측 오차 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 다양한 주성분 수에 걸쳐 안정적인 계수 추정치와 p-값을 유지하는가?
• RQ4 이 방법은 사례-대조 연구에서 질병 상태와 같은 바이너리 결과로 효과적으로 확장될 수 있는가?
• RQ5 실제 유전체 데이터, 예를 들어 양극성 장애 유전자형에서 HyperLasso 및 단변량 선택에 비해 이 방법의 성능은 어떠한가?

주요 결과

• 연속형 결과 시뮬레이션에서 제안된 방법은 평균 예측 제곱오차(PSE)가 1.23을 기록하여 단변량 선택(1.51) 및 HyperLasso(1.55)보다 유의미하게 낮았다.
• 이중 결과에서는 WTCCC-BD 데이터에서 평균 분류오차가 0.465를 기록하여 단변량 선택(0.489) 및 HyperLasso(0.491)를 능가했다.
• 이 방법은 리지 트레이스에서 계수 경로와 p-값 곡선이 평탄해지는 지점에서 최적의 $ r $ 이 선택되었으며, 이는 계수 추정치와 p-값의 안정성을 보여주었다.
• 모든 시뮬레이션 시나리오에서 교차검증 및 단변량 선택보다 예측 오차 측면에서 일관되게 뛰어났으며, 특히 상관관계가 높은 예측 변수를 포함한 고차원 설정에서 두드러졌다.
• 실제 양극성 장애 데이터셋에서 이 방법은 평균 분류오차 0.465를 기록하여 실제 유전체 예측 맥락에서 강건성과 임상적 관련성을 입증했다.
• 리지 파라미터 선택에 있어 분산 기반 접근법이 교차검증이나 단변량 선별에만 의존하는 방법보다 더 안정적이고 정확한 예측을 제공하였다.