[논문 리뷰] Ridge Regression: Structure, Cross-Validation, and Sketching

Sifan Liu, Edgar Dobriban|arXiv (Cornell University)|2019. 10. 06.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 17

한 줄 요약

이 논문은 고차원 점근적 설정에서 리지 회귀의 통합적 분석을 제공하며, 공분산에 의존하는 선형 조합으로서 정확한 추정기 구조를 유도한다. 정규화 파rameter 선택을 위한 편향 보정 교차검증 방법을 제안하고, 원본 및 이중 스케칭 방법이 정확도 손실을 최소화하면서도 상당한 계산 속도 향상을 제공함을 보여준다—때로는 오차를 5%만 증가시키면서도 계산 시간을 절반으로 줄일 수 있다.

ABSTRACT

We study the following three fundamental problems about ridge regression: (1) what is the structure of the estimator? (2) how to correctly use cross-validation to choose the regularization parameter? and (3) how to accelerate computation without losing too much accuracy? We consider the three problems in a unified large-data linear model. We give a precise representation of ridge regression as a covariance matrix-dependent linear combination of the true parameter and the noise. We study the bias of $K$-fold cross-validation for choosing the regularization parameter, and propose a simple bias-correction. We analyze the accuracy of primal and dual sketching for ridge regression, showing they are surprisingly accurate. Our results are illustrated by simulations and by analyzing empirical data.

연구 동기 및 목표

• 고차원 점근적 모델에서 리지 회귀 추정기의 구조적 형태를 이해하기 위해.
• 정규화 파rameter 선택 시 K-폴드 교차검증의 편향을 다루고 보정 방법을 제안하기 위해.
• 리지 회귀에서 원본 및 이중 스케칭 방법의 정확도와 계산 효율성을 분석하기 위해.
• 랜덤 행렬 이론 프레임워크 하에서 스케칭 정확도에 대한 이론적 보장을 수립하기 위해.
• 예측 성능을 훼손하지 않으면서 정규화 파rameter를 선택하고 계산을 가속화하기 위한 실용적 통찰을 제공하기 위해.

제안 방법

• 모수 공분산 구조에 따라 스케일링 행렬이 결정되는, 진짜 파ram터와 노이즈의 선형 조합으로서 리지 회귀의 정확한 표현을 유도한다.
• 점근적 설정에서의 편향을 분석적으로 기술함으로써, K-폴드 교차검증의 시스템적 편향을 보정하기 위해 하향 조정 스케일링 방법을 제안한다.
• 랜덤 행렬 이론을 통해 스케칭이 표본 공분산 행렬에 미치는 영향을 모델링함으로써 원본 및 이중 스케칭을 분석한다.
• 자유 확률과 점근적 랜덤 행렬 이론을 사용하여 표본 공분산 행렬을 포함하는 추적 표현의 극한을 계산한다.
• 마르친코-파스트르 법칙과 자유 덧셈 병합을 사용하여 스케칭된 추정기의 행동을 특성화한다.
• 이론적 결과를 시뮬레이션과 실데이터 분석을 통해 검증하며, 다양한 방법 간의 MSE, 편향, 분산을 비교한다.

실험 결과

연구 질문

• RQ1 모수 공분산 행렬이 주어졌을 때, 리지 회귀 추정기는 참값 파ram터와 노이즈 측면에서 어떻게 구조화되어 있는가?
• RQ2 리지 정규화 파aram터 선택 시 K-폴드 교차검증의 편향은 어떤 성격과 크기를 가지는가?
• RQ3 고차원 설정에서 리지 회귀에 대해 원본 및 이중 스케칭 방법의 정확도는 어떠한가?
• RQ4 스케칭 방법은 계산 비용을 줄일 수 있을까? 이와 동시에 예측 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 스케칭된 리지 회귀에서 편향, 분산, 계산 효율성 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 리지 추정기는 모수 공분산 행렬과 정규화 파aram터에 의해 결정되는 스케일링에 의해 결정되는 선형 변환으로 잘 근사된다.
• 교차검증은 최적의 정규화 파aram터를 추정할 때 체계적인 하향 편향을 보이며, 이는 CV에서 선택된 값을 단순히 하향 조정함으로써 보정된다.
• 원본 및 이중 스케칭 방법은 일부 설정에서 계산 비용을 최대 50%까지 줄일 수 있으며, 이와 동시에 평균 제곱오차(MSE)는 오직 5%만 증가한다.
• 놀랍게도, 원래의 정규화 파aram터가 최적값이 아닐 경우 스케칭이 암묵적인 편향 보정을 유도함으로써 MSE를 향상시킬 수 있다.
• 이중 스케칭은 원본 스케칭보다 분산을 더 효과적으로 줄이지만, 더 높은 편향을 수반한다; 선택은 편향과 분산의 상대적 중요도에 따라 달라진다.
• 스케칭된 리지 회귀의 최적 정규화 파aram터는 일반적으로 표준 리지 회귀보다 낮으며, 원본과 이중 스케칭 간의 성능 격차는 스케칭 차원과 표본 크기의 비율에 따라 달라진다.