[논문 리뷰] Cross-validation: what does it estimate and how well does it do it?

Stephen Bates, Trevor Hastie외 1명|arXiv (Cornell University)|2021. 04. 01.

Statistical Methods and Inference참고 문헌 51인용 수 45

한 줄 요약

이 논문은 교차 검증이 특정 최종 모델의 오차(ErrXY)가 아니라 학습 세트들 간의 평균 예측 오차(Err)를 추정하며, 예측 오차에 대한 신뢰구간 커버리지를 개선하기 위해 중첩 교차 검증을 도입한다는 것을 보여준다.

ABSTRACT

Cross-validation is a widely-used technique to estimate prediction error, but its behavior is complex and not fully understood. Ideally, one would like to think that cross-validation estimates the prediction error for the model at hand, fit to the training data. We prove that this is not the case for the linear model fit by ordinary least squares; rather it estimates the average prediction error of models fit on other unseen training sets drawn from the same population. We further show that this phenomenon occurs for most popular estimates of prediction error, including data splitting, bootstrapping, and Mallow's Cp. Next, the standard confidence intervals for prediction error derived from cross-validation may have coverage far below the desired level. Because each data point is used for both training and testing, there are correlations among the measured accuracies for each fold, and so the usual estimate of variance is too small. We introduce a nested cross-validation scheme to estimate this variance more accurately, and we show empirically that this modification leads to intervals with approximately correct coverage in many examples where traditional cross-validation intervals fail.

연구 동기 및 목표

• 선형 모델을 특히 대상으로 한 예측 모델링에서 교차 검증의 추정 대상(estimand)을 명확히 한다.
• CV가 Err(학습 세트 간의 평균 오차)를 추정하며 ErrXY(관찰된 학습 세트에서 학습된 최종 모델의 오차)가 아님을 보인다.
• 폴드 간 상관관계로 인해 순진한 CV 기반 신뢰구간의 한계를 입증한다.
• 더 정확한 예측 오차 신뢰구간을 얻기 위한 중첩 교차검증(NCV)을 제안한다.
• 데이터 분할, Mallows Cp, 부트스트랩 등과 같은 관련 예측 오차 추정기와 CV를 비교한다.

제안 방법

• ErrXY를 전체 학습 세트에 적합한 모델의 샘플 밖 오차로 정의하고, Err을 보이지 않는 학습 세트들에 대한 기대값으로 정의한다.
• 선형 불변 추정량(OLS 및 제곱오차를 포함한 CV)을 X가 주어졌을 때 ErrXY와 조건부로 독립임을 보인다(정리 1).
• CV가 Err를 대상으로 삼고 ErrXY가 아님을 입증하고, ErrX(주어진 X의 조건부 평균)가 Err보다 ErrXY에 더 근접한 모집단 유사체임을 보인다(정리 2 및 밀접한 추정들).
• CV에서 풀 샘플 학습에 비해 더 작은 학습 부분집합을 사용하는 것이 생기는 편향을 분석하고, 서로 다른 영역에서의 편향을 논의한다.
• 표준오차 추정의 편향 없이 더 나은 예측오차 구간 커버리지를 얻기 위한 CV의 수정으로서 중첩 교차검증(NCV)을 도입한다(정리 3).
• CV와 Cp형 추정기를 선형 불변 추정량으로서 유사한 대상 행동을 보이는 것으로 연결한다(섹션 3.5).

Figure 1 : A plot of the true error of a model versus the CV estimates for 1000 replicates of the model from Section 1.1 . The blue curve shows the average midpoint of the naïve CV confidence intervals. The green bands show the average 90% confidence interval for prediction error given by naïve CV.

실험 결과

연구 질문

• RQ1 무엇이 교차 검증이 예측 모델링에서 정확히 추정하는가, 특히 선형 모델 하에서?
• RQ2 CV 기반 구간이 예측 오차를 커버하는 데 어떤 성능을 보이며, 개선이 가능한가?
• RQ3 데이터 분할, Mallows Cp, 부트스트랩은 예측 오차의 추정기로서 어떤 차이가 있는가?
• RQ4 수정된 CV 방식(중첩 CV)이 예측 오차에 대한 더 정확한 신뢰구간을 제공할 수 있는가?
• RQ5 고차원/선형 설정에서 Err, ErrX, ErrXY 및 CV가 산출하는 추정기 간의 관계는 어떤가?

주요 결과

• CV는 Err(학습 세트 간의 평균 예측 오차)을 ErrXY(관찰된 학습 세트에서 학습된 모델의 오차)가 아니라 추정한다.
• 선형 불변 추정량인 OLS를 사용하는 CV는 Err 또는 ErrX를 추정할 때 ErrXY를 추정할 때보다 평균제곱오차(MSE)가 더 작다(정리 1 및 보충 정리 1).
• 정리 2에 따르면 비례적 큰 샘플에서 ErrX와 Err은 ErrXY보다 Err에 더 근접한 모집단 근사이며, Var(ErrX)=Θ(1/n^2)이고 Var(ErrXY|X)=Θ(1/n)이다.
• 순진한 CV 구간은 폴드 오차 간의 상관관계를 무시하여 커버리지가 부족한 경우가 많고, NCV는 많은 경우에 대략 올바른 커버리지를 제공하는 구간을 제공한다(그림 1 토의 및 정리 3).
• Mallow의 Cp 및 Cp 기반 방법은 선형 불변이며 Err/ErrX를 목표로 삼는 경향이 ErrXY를 목표로 삼지 않는 경향이 비슷하다(섹션 3.5).

Figure 2 : Possible targets of inference for cross-validation. Here, $(X,Y)$ is the training data and $\mbox{{Err}}_{XY}$ is the average error of the model fit on $(X,Y)$ on a test data set of infinite size. From left to right, the random variables above are a constant, a function of $X$ only, and a