[논문 리뷰] Choice of V for V-Fold Cross-Validation in Least-Squares Density Estimation

Sylvain Arlot, Matthieu Lerasle|arXiv (Cornell University)|2012. 10. 22.

Statistical Methods and Inference참고 문헌 32인용 수 55

한 줄 요약

이 논문은 최소제곱 밀도 추정을 위한 V-겹 교차검증에서 V=5 또는 V=10을 선택하는 데 이론적 근거를 제공한다. 수렴하지 않는 오라클 부등식을 수립하여 주항상수가 1에 수렴하고, 분산이 V에 따라 1 + 4/(V−1)와 같이 감소함을 보여, 성능이 V=2에서 V=5 또는 10으로 갈수록 크게 향상되며 이후 포화 상태에 이를 것을 설명한다.

ABSTRACT

This paper studies V-fold cross-validation for model selection in least-squares density estimation. The goal is to provide theoretical grounds for choosing V in order to minimize the least-squares loss of the selected estimator. We first prove a non-asymptotic oracle inequality for V-fold cross-validation and its bias-corrected version (V-fold penalization). In particular, this result implies that V-fold penalization is asymptotically optimal in the nonparametric case. Then, we compute the variance of V-fold cross-validation and related criteria, as well as the variance of key quantities for model selection performance. We show that these variances depend on V like 1+4/(V-1), at least in some particular cases, suggesting that the performance increases much from V=2 to V=5 or 10, and then is almost constant. Overall, this can explain the common advice to take V=5---at least in our setting and when the computational power is limited---, as supported by some simulation experiments. An oracle inequality and exact formulas for the variance are also proved for Monte-Carlo cross-validation, also known as repeated cross-validation, where the parameter V is replaced by the number B of random splits of the data.

연구 동기 및 목표

• V-겹 교차검증에서 흔히 사용되는 V=5 또는 V=10 선택에 대한 이론적 근거를 제공하는 것.
• 최소제곱 밀도 추정에서 V의 선택이 선택된 추정기의 위험도에 어떤 영향을 미치는지 분석하는 것.
• V-겹 교차검증과 펜라티제이션에 대해 비점근 오라클 부등식과 정확한 분산 공식을 유도하는 것.
• 분산 분해를 통해 V의 값에 따른 이차 성능 차이를 비교하는 것.
• 매개변수 B를 사용하는 몬테카를로 교차검증(반복 교차검증)으로 결과를 확장하는 것.

제안 방법

• V-겹 교차검증과 그 편향 보정 버전(즉, V-겹 페널티)에 대해 비점근 오라클 부등식을 유도하여, n→∞일 때 주항상수가 1에 수렴함을 보였다.
• 새로운 농도 부등식을 사용하여 V-겹 페널티의 오라클 부등식을 수립하였다.
• V-겹 교차검증 기준과 관련된 양의 정확한 분산을 계산하여, V에 따라 1 + 4/(V−1)와 같이 의존함을 보였다.
• 핵심 모델 선택 성능 지표의 분산을 분석하여, V-겹 분할 설계와의 연관성을 규명하였다.
• B개의 무작위 분할을 사용하는 몬테카를로 교차검증(반복 교차검증)의 분산에 대한 정확한 공식을 증명하였다.
• 결과를 최소제곱 밀도 추정에 적용하여, U통계량과 페널티의 닫힌 형태 표현식을 활용하였다.

실험 결과

연구 질문

• RQ1 왜 보통 V-겹 교차검증에서 V=5 또는 V=10을 사용하는가에 대한 이론적 근거는 무엇인가?
• RQ2 V의 선택이 교차검증 추정기의 분산과 선택된 모델의 위험도에 어떤 영향을 미치는가?
• RQ3 V-겹 페널티에 대해 주항상수가 1에 수렴하는 비점근 오라클 부등식을 수립할 수 있는가?
• RQ4 이차 위험 항을 고려할 때 V-겹 교차검증의 성능은 V에 따라 어떻게 달라지는가?
• RQ5 V-겹 교차검증과 관련 기준의 정확한 분산은 무엇이며, 이는 V에 따라 어떻게 척도화되는가?

주요 결과

• V-겹 페널티에 대해 주항상수가 1+εₙ인 비점근 오라클 부등식이 유도되었으며, 여기서 εₙ→0이 되고 n→∞일 때 성립하며, 임의의 V에 대해 유효하다.
• V-겹 교차검증 기준과 관련 양의 분산은 1 + 4/(V−1)와 같이 척도화되며, 이는 V=2에서 V=5 또는 10으로 갈수록 급격한 향상이 있음을 시사한다.
• V=5 또는 10을 초과하여 V를 증가시키면 성능 향상이 크게 감소하며, 분산 감소 효과가 거의 없어진다.
• 결과는 계산 비용이 제한된 환경에서 실무에서 V=5 또는 10이 성공적인 이유를 설명한다.
• 유사한 분산 척도화 행동이 B개의 무작위 분할을 사용하는 몬테카를로 교차검증에서도 성립함을 보였다.
• 이론적 프레임워크는 V-겹 페널티가 비모수적 설정에서 점근적으로 최적임을 확인한다.