[논문 리뷰] Fast Marginal Likelihood Estimation of the Ridge Parameter in Ridge Regression

George Karabatsos|arXiv (Cornell University)|2015. 01. 01.

Control Systems and Identification참고 문헌 35인용 수 3

한 줄 요약

이 논문은 특이값 분해(SVD)를 사용하여 우도를 단순화함으로써 릿지 회귀에서 릿지 파라미터를 빠르고 계산적으로 효율적으로 추정하는 방법을 제안한다. 이로 인해 행렬의 행렬식과 역행렬 계산과 같은 고비용 연산을 제거할 수 있으며, 고차원 데이터에서도 거의 즉각적인 최적화(종종 0.1초 이내)를 가능하게 한다. 또한 베이즈 요인을 통한 비교에서 다른 릿지 파라미터 추정치보다 우수한 베이즈 실질 베이즈 사후 모드를 도출한다.

ABSTRACT

Ridge regression provides coefficient estimates via shrinkage, even when the observed design matrix contains correlated covariates, or when it is singular, as when the number of covariates exceeds the number of observations. This shrinking usually improve predictions in the linear model, compared to ordinary least-squares. However, the estimation and prediction accuracy of the ridge model depend on the choice of the ridge parameter. The current approaches to estimating the ridge parameter are based on minimizing cross-validation or information loss criteria, which are either computationally expensive or asymptotically inconsistent, and can only approximate (−2 times the log-) marginal likelihood of the model parameters. The marginal likelihood depends on a matrix determinant, which is computationally demanding when the number of covariates is large. This paper shows that after taking a singular value decomposition of the design matrix, the marginal likelihood can be simplified into an equation involving no matrix operations such as determinants or inverses. This simplification allows for a fast estimation of the ridge parameter based on a simple optimization algorithm, which typically completes in less than one-tenth of a second, even for data sets where the number of covariates and/or sample size is very large. Also, the marginal likelihood estimate of the ridge parameter is the “Bayes empirical Bayes” posterior mode, and is preferred according to the Bayes factor, over pair-wise comparisons of all possible ridge parameter estimates. We illustrate the speed and viability of the ridge parameter estimation method through the analysis of several real data sets, involving hundreds to several thousand covariates and observations, and involving more covariates than

연구 동기 및 목표

• 예측 변수의 수가 많을 경우 릿지 회귀에서 우도 추정의 계산 비용이 너무 높아지는 문제를 해결하기 위해.
• 교차검증에서의 높은 계산 비용이나 정보 기준에서의 渐近적 불일치성 등의 기존 릿지 파라미터 추정 방법의 한계를 극복하기 위해.
• 행렬의 행렬식과 역행렬을 피하는 정확한 우도 계산 방법을 개발하기 위해.
• 릿지 파라미터에 대한 베이즈 실질 베이즈 사후 모드를 도출할 수 있는 계산적으로 효율적인 대안을 제공하기 위해.
• 실제 데이터 분석을 통해 제안된 방법의 속도와 통계적 우수성을 기존 방법들과 비교하여 입증하기 위해.

제안 방법

• 설계 행렬에 특이값 분해(SVD)를 적용하여 정규직교 성분과 특이값으로 분해하기 위해.
• 특이값을 기반으로 우도 표현을 재작성함으로써 행렬의 행렬식과 역행렬이 필요 없도록 하기 위해.
• 로그-우도-우도 함수를 특이값과 릿지 파라미터에만 의존하는 형태로 단순화하기 위해.
• 간단한 최적화 알고리즘을 사용하여 단순화된 우도 함수를 최대화함으로써 릿지 파라미터를 추정하기 위해.
• 도출된 추정치를 베이즈 실질 베이즈 사후 모드로 활용하여, 베이즈 요인 비교를 통한 통계적 우수성을 확보하기 위해.
• 수백에서 수천 개의 예측 변수와 관측치를 포함한 실제 데이터셋을 대상으로 방법을 검증하기 위해, 특히 예측 변수 수가 관측치 수를 초과하는 경우도 포함하여.

실험 결과

연구 질문

• RQ1 릿지 회귀에서 우도를 특이값 분해를 통해 단순화하여, 행렬식과 역행렬 계산과 같은 계산 비용이 큰 연산을 피할 수 있는가?
• RQ2 단순화된 우도 함수가 고차원 환경에서 신속하고 정확한 릿지 파라미터 추정을 가능하게 하는가?
• RQ3 베이즈 요인을 기준으로 측정했을 때 도출된 릿지 파라미터 추정치가 다른 추정치보다 통계적으로 뛰어난가?
• RQ4 제안된 방법의 계산 속도가 교차검증이나 정보 기준과 같은 기존 방법들과 비교해 어떻게 다른가?
• RQ5 예측 변수 수가 관측치 수를 초과하는 경우에도 이 방법이 효과적이고 효율적인가?

주요 결과

• 특이값 분해를 통해 우도를 재작성함으로써 행렬식과 역행렬이 더 이상 필요 없게 되어 계산 복잡도가 크게 감소한다.
• 단순화된 우도 함수 덕분에 수천 개의 예측 변수를 가진 데이터셋에서도 릿지 파라미터 최적화가 0.1초 이내에 가능하다.
• 추정된 릿지 파라미터는 베이즈 요인 비교를 통해 다른 추정치보다 유리한 것으로 평가되는 베이즈 실질 베이즈 사후 모드에 해당한다.
• 예측 변수 수가 관측치 수를 초과하는 고차원 환경에서도 이 방법은 효과적이며 계산적으로 실현 가능하다.
• 기존 방법들에 비해 계산 속도와 통계적 일관성 측면에서 뛰어나며, 교차검증과 정보 기준의 실용적 대안을 제공한다.