[논문 리뷰] Asymptotics of Cross-Validation

Morgane Austern, Wenda Zhou|arXiv (Cornell University)|2020. 01. 29.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 12

한 줄 요약

이 논문은 일반적인 안정성 조건 하에서 교차검증 위험의 점근적 분포를 수립하며, 중심극한정리와 Berry-Esseen 경계를 증명하여 정확한 신뢰구간을 가능하게 한다. 파라메트릭 M-추정량이 학습 및 테스트 손실이 일치할 경우 교차검증에서 K_n-배의 분산 감소를 달성하지만, 대체 손실 또는 정규화를 사용할 경우 모델과 데이터 분포에 따라 분산 감소가 전체 속도보다 작거나 클 수 있음을 보여준다.

ABSTRACT

Cross validation is a central tool in evaluating the performance of machine learning and statistical models. However, despite its ubiquitous role, its theoretical properties are still not well understood. We study the asymptotic properties of the cross validated-risk for a large class of models. Under stability conditions, we establish a central limit theorem and Berry-Esseen bounds, which enable us to compute asymptotically accurate confidence intervals. Using our results, we paint a big picture for the statistical speed-up of cross validation compared to a train-test split procedure. A corollary of our results is that parametric M-estimators (or empirical risk minimizers) benefit from the "full" speed-up when performing cross-validation under the training loss. In other common cases, such as when the training is done using a surrogate loss or a regularizer, we show that the behavior of the cross-validated risk is complex with a variance reduction which may be smaller or larger than the "full" speed-up, depending on the model and the underlying distribution. We allow the number of folds to grow with the number of observations at any rate.

연구 동기 및 목표

• 통계학적 학습에서 교차검증 위험 추정량의 점근적 행동을 이해하기 위해.
• 학습-테스트 분할 대비 K-겹 교차검증이 달성하는 분산 감소를 정량화하기 위해.
• 교차검증이 분산 감소에서 '완전한' 속도 향상을 달성하는 조건을 설정하기 위해.
• 점근적 분산 추정량을 사용하여 교차검증 위험에 대해 점근적으로 정확한 신뢰구간을 제공하기 위해.
• 정규화 및 대체 손실이 교차검증의 통계적 효율성에 미치는 영향을 분석하기 위해.

제안 방법

• 일반적인 안정성 조건 하에서 교차검증 위험에 대한 중심극한정리와 Berry-Esseen 경계를 유도한다.
• 교차검증에서 종속적인 겹을 다루기 위해 정규근사에 대한 Stein 방법의 변형을 사용한다.
• 교차검증 위험의 영향 함수를 분석하고 개별 관측치에 대한 민감도를 분해한다.
• 교차검증 위험의 점근적 분산 및 그 추정량에 대한 표현식을 유도한다.
• 겹 수 K_n이 표본 크기 n과 함께 임의의 속도로 증가할 수 있도록 하여도 유연한 점근적 분석이 가능하도록 한다.
• 교차검증의 점근적 분산을 데이터 분할과 비교하여 속도 향상을 정량화한다.

실험 결과

연구 질문

• RQ1 교차검증이 데이터 분할 대비 분산 감소를 K_n-배로 달성하는 조건은 무엇인가?
• RQ2 대체 손실 또는 정규화를 사용할 경우 교차검증의 분산 감소에 어떤 영향을 미치는가?
• RQ3 일반적인 모델 안정성 조건 하에서 교차검증 위험의 극한 분포는 무엇인가?
• RQ4 교차검증 위험에 대해 점근적으로 정확한 신뢰구간을 구성할 수 있는가?
• RQ5 다양한 모델 클래스에서 교차검증의 점근적 분산은 데이터 분할과 비교하여 어떻게 되는가?

주요 결과

• 학습 및 평가에 동일한 손실을 사용하는 파라메트릭 M-추정량의 경우, 교차검증은 데이터 분할 대비 '완전한' K_n-배의 분산 감소를 달성한다.
• 대체 손실 또는 정규화를 사용할 경우, 모델과 기본 데이터 분포에 따라 교차검증의 분산 감소가 전체 K_n-배 속도 향상보다 작거나 클 수 있다.
• 논문은 교차검증 위험에 대해 중심극한정리를 수립하여 점근적으로 타당한 신뢰구간을 가능하게 한다.
• Berry-Esseen 경계가 유도되어 교차검증 위험의 정규분포 수렴 속도를 정량화한다.
• 안정성 조건 하에서 교차검증 위험의 점근적 분산이 데이터 분할 추정량의 분산보다 작다는 것이 입증된다.
• 분석 과정에서 K_n이 n과 함께 임의의 속도로 증가할 수 있어, 고차원 및 대규모 표본 설정에 적용 가능한 결과를 도출할 수 있다.