[논문 리뷰] Testing for Overfitting

James Schmidt|arXiv (Cornell University)|2023. 05. 09.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 훈련 데이터만을 사용하여 과적합을 검출하기 위한 통계적 가설 검정을 제안한다. 농도 불등식을 활용해 훈련 데이터와 보류 데이터에서의 경험적 성능를 비교함으로써 과적합을 정량적으로 탐지한다. 이 방법은 일반화 평가를 위해 보류 세트에 의존하지 않고도 과적합을 탐지할 수 있으며, 히우리스틱적 조기 정지 방법에 대한 엄밀한 대안을 제공한다.

ABSTRACT

High complexity models are notorious in machine learning for overfitting, a phenomenon in which models well represent data but fail to generalize an underlying data generating process. A typical procedure for circumventing overfitting computes empirical risk on a holdout set and halts once (or flags that/when) it begins to increase. Such practice often helps in outputting a well-generalizing model, but justification for why it works is primarily heuristic. We discuss the overfitting problem and explain why standard asymptotic and concentration results do not hold for evaluation with training data. We then proceed to introduce and argue for a hypothesis test by means of which both model performance may be evaluated using training data, and overfitting quantitatively defined and detected. We rely on said concentration bounds which guarantee that empirical means should, with high probability, approximate their true mean to conclude that they should approximate each other. We stipulate conditions under which this test is valid, describe how the test may be used for identifying overfitting, articulate a further nuance according to which distributional shift may be flagged, and highlight an alternative notion of learning which usefully captures generalization in the absence of uniform PAC guarantees.

연구 동기 및 목표

• 기계 학습에서 과적합을 탐지하기 위해 보류 세트를 사용하는 것에 대한 엄밀한 통계적 근거가 부족한 문제를 해결하기 위해.
• 보류 세트를 일반화 평가에 사용하지 않고도 훈련 데이터만을 사용하여 과적합을 정량적으로 정의하고 탐지할 수 있는 방법을 개발하기 위해.
• 균일한 PAC 학습 가능성 보장이 성립하지 않을 경우에도 유효한 검정을 제공하여 더 약한 가정 하에서도 일반화 평가가 가능하도록 하기 위해.
• 과적합의 개념을 조기 정지와 같은 히우리스틱적 방법이 아닌 통계적 가설 검정에 기반하여 명확히 하기 위해.
• 실제 모델 평가에 유의미한 대안이 되는 더 약한 조건인 $\pi$-학습 가능성($\pi$-learnability)의 개념을 도입하기 위해.

제안 방법

• 이 방법은 훈련 비용 함수의 경험적 평균이 진짜 기대값에서 얼마나 벗어날 수 있는지 bounds를 제공하기 위해 허프딩의 부등식(Hoeffding's inequality)을 사용한다.
• 농도 경계를 활용해 훈련 데이터와 보류 데이터에서의 경험적 리스크를 비교하는 통계적 가설 검정을 수립한다. 이 검정은 관측된 차이가 통계적으로 유의미한지 평가한다.
• 이 검정은 모델이 과적합되지 않았을 경우, 높은 확률로 경험적 평균이 서로 유사해야 한다는 원리에 기반한다.
• 정밀도 기준 $\varepsilon$와 신뢰 수준 $\delta$를 정의하고, 허프딩의 부등식을 활용해 신뢰성 있는 탐지에 필요한 표본 크기 $m$을 계산한다.
• 훈련 에포크 동안 검정을 반복하여 훈련 데이터 성능이 보류 데이터 성능과 유의미하게 다를 때 과적합이 발생하고 있음을 탐지한다.
• 이 방법은 가설 클래스가 PAC-학습 가능하지 않아도 과적합 탐지가 가능하며, 대신 분포 기반 학습 가능성($\pi$-learnability)에 의존한다.

Figure 1 : Slicing the Cost Function $c:\mathcal{H}\times(\mathcal{X}\times\mathcal{Y})^{\omega}\rightarrow\mathbb{R}$

실험 결과

연구 질문

• RQ1 보류 세트에 의존하지 않고도 훈련 데이터만을 사용하여 과적합을 탐지할 수 있는가?
• RQ2 균일한 PAC 보장이 없을 경우에도 과적합을 엄밀히 정의하고 탐지할 수 있는 통계적 프레임워크는 무엇인가?
• RQ3 농도 불등식을 어떻게 활용해 훈련 데이터에서 과적합을 위한 타당한 가설 검정을 구성할 수 있는가?
• RQ4 제안된 검정은 조기 정지와 같은 히우리스틱적 방법에 비해 어떤 점에서 개선되는가?
• RQ5 $\pi$-학습 가능성($\pi$-learnability)은 PAC 학습 가능성 조건이 성립하지 않을 경우 일반화 평가를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 가설 검정은 농도 경계를 활용해 훈련 데이터와 보류 데이터의 경험적 리스크를 비교함으로써 과적합을 성공적으로 탐지하며, 지정된 조건 하에서 통계적 타당성이 보장된다.
• 이 방법은 가설 클래스가 PAC-학습 가능하지 않아도 과적합 탐지가 가능하므로, 실제 학습 문제에 대한 적용 범위를 넓힌다.
• 합성 데이터와 MNIST에 대한 시뮬레이션 결과는, 조기 정지를 적용하지 않더라도 훈련 데이터 성능이 보류 데이터 성능과 다를 때 과적합이 탐지됨을 보여준다.
• 모델이 과적합을 겪다가 후속 에포크에서 일반화 성능이 회복되는 경우에도 검정은 효과적으로 작동하여 동적인 과적합 패tern을 감지함을 보여준다.
• 허프딩의 부등식을 사용함으로써 유의수준 $\delta$와 정밀도 $\varepsilon$를 조절하여 제1종 오류 비율을 정밀하게 제어할 수 있으며, 표본 수 $m$이 경계의 날카기 정도를 결정한다.
• 이 프레임워크는 PAC 학습 가능성의 더 약한 대안으로서 의미 있는 $\pi$-학습 가능성($\pi$-learnability)의 개념을 도입하여, 분포 기반의 더 약한 가정 하에서도 일반화 보장을 가능하게 한다.

Figure 2 : Sequences of models $\hat{y}_{\mathsf{S_{1}}},\hat{y}_{\mathsf{S_{2}}},\ldots,\hat{y}_{\mathsf{S_{m}}},\ldots$