[논문 리뷰] On the Asymptotic Optimality of Cross-Validation based Hyper-parameter Estimators for Regularized Least Squares Regression Problems

Biqiang Mu, Tianshi Chen외 1명|arXiv (Cornell University)|2021. 04. 21.

Control Systems and Identification참고 문헌 32인용 수 5

한 줄 요약

이 논문은 정규화된 최소 제곱 회귀에서 교차검증(CV) 기반 초파rameter 추정기의 渐近 최적성(a.o.)을 확립한다. 일반화된 교차검증(GCV)은 유계 회귀자 가정 없이도 渐近 최적임을 증명하며, 한 개를 제외한 교차검증(LOOCV)과 반복-접합 교차검증(RFCV)은 유계성을 필요로 한다. HOCV는 일반적으로 渐近 최적성이 아니다. 시뮬레이션 결과는 다양한 설계 행렬 조건을 가진 데이터 베이스에서 이론적 결과를 확인한다.

ABSTRACT

The asymptotic optimality (a.o.) of various hyper-parameter estimators with different optimality criteria has been studied in the literature for regularized least squares regression problems. The estimators include e.g., the maximum (marginal) likelihood method, $C_p$ statistics, and generalized cross validation method, and the optimality criteria are based on e.g., the inefficiency, the expectation inefficiency and the risk. In this paper, we consider the regularized least squares regression problems with fixed number of regression parameters, choose the optimality criterion based on the risk, and study the a.o. of several cross validation (CV) based hyper-parameter estimators including the leave $k$-out CV method, generalized CV method, $r$-fold CV method and hold out CV method. We find the former three methods can be a.o. under mild assumptions, but not the last one, and we use Monte Carlo simulations to illustrate the efficacy of our findings.

연구 동기 및 목표

• 정규화된 최소 제곱 회귀에서 CV 기반 초파rameter 추정기의 渐近 최적성(a.o.)을 규명하는 것.
• GCV, LOOCV, RFCV, HOCV가 언제 渐近 최적성을 달성하는지에 대한 조건을 명확히 하는 것.
• LOOCV와 RFCV의 渐近 최적성에 대해 회귀자의 유계성이 필수적인지 조사하는 것.
• 다양한 설계 행렬 성질을 가진 합성 데이터 베이스에서 이론적 결과를 수치 시뮬레이션을 통해 검증하는 것.

제안 방법

• 이론적 분석을 통해 CV 추정기의 渐近 최적성이 성립하는 조건을 도출하며, 위험, GCV, LOOCV, RFCV, HOCV를 초파arameter 추정기로 사용한다.
• 논문은 위험 함수를 편향, 분산, 교차항의 세 구성요소로 분해하고, 각 항을 점차적으로 분석한다.
• 핵심 기술 도구로는 행렬 역행렬 항등식과 $ G(\eta) = X^TX + \eta I_p $의 점근 전개를 사용하며, $ \eta $는 정규화 파라미터이다.
• 레마들은 $ \varepsilon^T X (X^T X)^{-1} X^T \varepsilon $ 및 관련 항들을 포함하는 이차 형식의 확률적 순서를 수립한다.
• 이론적 결과는 세 개의 데이터 베이스(D1, D2, D3)에서 다양한 설계 행렬 조건과 표본 크기를 가진 수치 시뮬레이션을 통해 검증된다.
• 시뮬레이션은 2-폴드, 5-폴드, 100-폴드, 3900-폴드, 2-HOCV, 5-HOCV 간 성능을 비교하며, 평균 정확도와 내구성 기반 결과를 보고한다.

실험 결과

연구 질문

• RQ1 일반화된 교차검증(GCV)은 유계 회귀자 가정 없이 정규화된 최소 제곱 회귀에서 渐近 최적성인지 여쭙니다?
• RQ2 한 개를 제외한 교차검증(LOOCV)의 渐近 최적성은 회귀자의 유계성에 의존하는가?
• RQ3 반복-접합 교차검증(RFCV)이 언제 渐近 최적성이 되며, 성능은 접합 수 $ r $ 에 따라 어떻게 달라지는가?
• RQ4 보류-교차검증(HOCV)은 일반적으로 정규화된 최소 제곱 회귀에서 渐近 최적성인지 여쭙니다?
• RQ5 시뮬레이션 결과는 CV 기반 추정기의 渐近 최적성에 대한 이론적 조건과 일치하는가?

주요 결과

• 데이터 베이스 D1(좋은 조건의 $ X^T X $)에서는 GCV와 LOOCV가 거의 동일하게 작동하며 모든 추정기 중에서 가장 우수한 성능을 보이며, $ n=300 $ 에서 위험값은 85.93, $ n=7800 $ 에서는 96.49로, 실현 불가능한 위험 추정기와 매우 유사하다.
• 데이터 베이스 D2(나쁜 조건의 $ X^T X $)에서는 GCV와 LOOCV가 다시 다른 추정기들을 압도하며, $ n=300 $ 에서 위험값은 각각 85.56과 85.71, $ n=7800 $ 에서는 각각 96.46과 96.49이다.
• 데이터 베이스 D3(유계가 아닌 회귀자)에서는 GCV는 위험 추정기와 유사하게 유지되며(7800명일 때 96.70 대비 96.56), 하지만 LOOCV, RFCV, HOCV는 유의미하게 열 劣하므로, 이들의 최적성에는 유계성이 필수적임을 시사한다.
• RFCV 성능은 $ r $ 증가에 따라 향상되며, 유계 조건 하에서는 GCV와 LOOCV에 가까워지지만, 고정된 $ r $ 에서는 약간 열 劣하다.
• HOCV는 일관되게 열 劣하며, $ r $ 증가에 따라 성능이 악화되며, 일반적으로 渐近 최적성이 아님을 확인한다.
• 표본 수 $ n=7800 $ 에서 2-폴드, 5-폴드, 2-HOCV, 5-HOCV의 수치 시뮬레이션은 비용 함수가 일정하고 초파라미터가 고정되어 있어 의미가 없으며, 최적화 과정에서 알고리즘 장애가 발생함을 시사한다.