[논문 리뷰] Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data

George Karabatsos|arXiv (Cornell University)|2014. 09. 08.

Statistical and numerical algorithms참고 문헌 45인용 수 5

한 줄 요약

이 논문은 큰 규모 또는 고차원 데이터(p > n)에서도 효율적인 계산이 가능한 고속의 주변 최대우도(MML) 추정 방법을 제안한다. 이는 고리 회귀(RR), 힘의 고리 회귀(PRR), 일반화된 고리 회귀(GRR) 모델의 고리 매개수를 추정하기 위해 특이값 분해(SVD)를 활용한다. MML 접근법은 교차검증, MCMC, 정보기준기반 방법보다 빠르고 예측 정확도가 뛰어나며, 베이지안 GRR 모델은 유의미한 예측 변수를 탐지하는 데 있어 주변우도와 강건성 면에서 뛰어나다.

ABSTRACT

Unlike the ordinary least-squares (OLS) estimator for the linear model, a ridge regression linear model provides coefficient estimates via shrinkage, usually with improved mean-square and prediction error. This is true especially when the observed design matrix is ill-conditioned or singular, either as a result of highly-correlated covariates or the number of covariates exceeding the sample size. This paper introduces novel and fast marginal maximum likelihood (MML) algorithms for estimating the shrinkage parameter(s) for the Bayesian ridge and power ridge regression models, and an automatic plug-in MML estimator for the Bayesian generalized ridge regression model. With the aid of the singular value decomposition of the observed covariate design matrix, these MML estimation methods are quite fast even for data sets where either the sample size (n) or the number of covariates (p) is very large, and even when p>n. On several real data sets varying widely in terms of n and p, the computation times of the MML estimation methods for the three ridge models, respectively, are compared with the times of other methods for estimating the shrinkage parameter in ridge, LASSO and Elastic Net (EN) models, with the other methods based on minimizing prediction error according to cross-validation or information criteria. Also, the ridge, LASSO, and EN models, and their associated estimation methods, are compared in terms of prediction accuracy. Furthermore, a simulation study compares the ridge models under MML estimation, against the LASSO and EN models, in terms of their ability to differentiate between truly-significant covariates (i.e., with non-zero slope coefficients) and truly-insignificant covariates (with zero coefficients).

연구 동기 및 목표

• 대용량 데이터 환경에서 교차검증 및 MCMC와 같은 전통적인 고리 매개수 추정 방법의 계산 비효율성 문제를 해결하기 위해.
• 특히 p > n 또는 설계 행렬이 악조건인 경우에도 적용 가능한 고속이고 확장 가능한 베이지안 RR, PRR, GRR 모델의 고리 매개수 추정 방법을 개발하기 위해.
• LASSO와 엘라스틱넷 대비 진정한 유의미한 공변수와 무의미한 공변수를 더 잘 구별할 수 있는 예측 성능 및 통계적 검정력 향상을 위해.
• 반복 최적화가 필요 없는 폐형 해를 갖는 일반화된 고리 회귀(GRR) 모델을 위한 플러그인 MML 추정기 제공을 위해.
• 실제 및 시뮬레이션 데이터를 바탕으로 MML 기반 고리 모델이 주변우도, 예측 오차, 변수 선택 정확도 면에서 우수함을 입증하기 위해.

제안 방법

• 설계 행렬 X = UDWᵀ의 특이값 분해(SVD)를 활용하여 회귀 문제를 직교 공간으로 변환함으로써 MML 추정치의 빠른 계산을 가능하게 한다.
• SVD 성분을 기반으로 반복 최적화를 통해 베이지안 RR 및 PRR 모델의 주변최대우도(MML) 추정기를 도출한다.
• 고리 매개수에 균일한 사전분포를 두었을 때 일반화된 고리 회귀(GRR) 모델에 대해 폐형 해를 갖는 자동 플러그인 MML 추정기를 제안한다.
• 베이즈 요인을 활용하여 고리 매개수 값을 비교하고, 주변우도를 최대화하는 값을 최적 추정치로 선정한다.
• 매트릭스 역행렬 및 행렬식 계산을 피하기 위해 SVD를 활용해 계수 및 오차 분산의 사후 평균과 분산을 효율적으로 계산한다.
• 변수 선택 및 유의성 검정을 위해 사후 기반 검정 통계량(사후 사분위수 기준, 95% 사후 구간, SN 기준)을 적용한다.

실험 결과

연구 질문

• RQ1 SVD를 활용해 대규모 또는 고차원 데이터(p > n)에서 고리 매개수의 MML 추정을 계산적으로 효율적으로 수행할 수 있는가?
• RQ2 GIC(λ) 또는 수정된 BIC(λ)로 추정된 LASSO 및 엘라스틱넷 모델과 비교해 MML 기반 고리 회귀 모델의 예측 정확도는 어떠한가?
• RQ3 MML로 추정된 매개수를 갖는 일반화된 고리 회귀 모델은 표준 RR 및 PRR 모델보다 주변우도와 변수 선택에서 뛰어나게 성능을 발휘하는가?
• RQ4 모델 선택 기준 하에서 MML 기반 사후 기준이 LASSO 및 엘라스틱넷보다 진정한 비영계수를 더 높은 민감도와 특이도로 탐지할 수 있는가?
• RQ5 제안된 GRR 고리 매개수에 대한 폐형 플러그인 추정기는 반복적 방법보다 정확도와 속도 면에서 뛰어나다고 할 수 있는가?

주요 결과

• 10개의 실제 데이터 세트(n과 p가 수백에서 수천 사이)에서 RR, PRR, GRR 모델의 MML 추정 방법은 교차검증, MCMC, GIC/BIC 기반 방법보다 유의미하게 빠른 속도를 보였다.
• 베이지안 GRR 모델은 10개의 실제 데이터 세트 중 절반 이상에서 가장 높은 주변우도를 기록하여 RR 및 PRR 모델 대비 더 나은 모델 적합도를 보였다.
• MML 추정을 적용한 세 가지 고리 모델(RR, PRR, GRR)은 모두 10겹 교차검증 평균제곱예측오차 측면에서 LASSO 및 엘라스틱넷을 일관되게 초월하였다.
• 고유값이 작은 주성분이 반응 변수와 유의미하게 관련되어 있을 경우, PRR 모델은 표준 RR 모델 대비 뛰어난 예측 성능을 보였다.
• GIC(λ) 또는 수정된 BIC(λ) 최소화 기준 하에서 MML 추정 고리 모델의 사후 기반 검정 통계량(예: 95% 사후 구간, SN 기준)은 LASSO 및 엘라스틱넷 대비 진정한 비영계수를 더 높은 민감도와 특이도로 탐지하였다.
• MML 기반 RR, PRR, GRR 모델을 구현한 무료이며 메뉴 기반 소프트웨어 패키지가 공개되어 있으며, 연구에서 사용된 예제 출력 및 데이터 세트도 포함되어 있다.