[논문 리뷰] On Optimal Early Stopping: Over-informative versus Under-informative Parametrization

Ruoqi Shen, Liyao Gao외 1명|arXiv (Cornell University)|2022. 02. 20.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 모델 차원이 특징 수를 초과하는 경우(과정보적 파arametrization)와 그렇지 않은 경우(부정보적 파arametrization)를 구분하는 이론적 프레임워크를 도입하여 신경망에서 최적의 조기 정지 시점을 조사한다. 과정보적 설정(딥러닝에서 흔한 경우)에서는 최적의 조기 정지 시점이 모델 크가 증가함에 따라 감소함을 보이며, 이는 이전 이론과의 모순을 해결하고 ResNet에서 CIFAR 및 MNIST 데이터셋에 레이블 노이즈가 있는 경우의 경험적 관찰과 일치한다.

ABSTRACT

Early stopping is a simple and widely used method to prevent over-training neural networks. We develop theoretical results to reveal the relationship between the optimal early stopping time and model dimension as well as sample size of the dataset for certain linear models. Our results demonstrate two very different behaviors when the model dimension exceeds the number of features versus the opposite scenario. While most previous works on linear models focus on the latter setting, we observe that the dimension of the model often exceeds the number of features arising from data in common deep learning tasks and propose a model to study this setting. We demonstrate experimentally that our theoretical results on optimal early stopping time corresponds to the training process of deep neural networks.

연구 동기 및 목표

• 딥러닝에서의 조기 정지에 대한 이론적 예측과 경험적 관찰 간의 괴리 문제를 해결하기 위해.
• 모델 차원이 특징 수를 초과하는 경우(과정보적 파arametrization)에 최적의 조기 정지 시점에 대한 이론적 프레임워크를 개발하기 위해.
• 과정보적 파arametrization이 이전의 부정보적 모델보다 실제 딥러닝 시나리오를 더 잘 반영함을 보여주기 위해.
• 실제로 모델 너비가 증가함에 따라 최적의 조기 정지 시점이 감소하는 현상에 대해 이론적 및 경험적 근거를 제공하기 위해.

제안 방법

• 정보적 특징 수를 초과하는 파arameter 수를 가진 선형 모델에 대한 새로운 이론적 모델을 제안하며, 이를 과정보적 파arametrization로 정의한다.
• 모델 차원 d와 표본 크기 n에 따라 최적의 조기 정지 시점을 분석하고, 정규 입력 가정 하에 渐近적 행동을 유도한다.
• 이론적 예측을 실험적으로 검증하기 위해 두 층의 ReLU 네트워크와 단순화된 ResNet 아키텍처를 사용한다.
• CIFAR-10/100 및 MNIST에서 표준 데이터 증강을 적용하고, 제어된 레이블 노이즈(10%, 20%, 30%)를 사용하여 확률적 경사 하강법과 교차 엔트로피 손실을 적용한다.
• 최적의 조기 정지 시점을 테스트 리스크가 최소가 되는 에포크로 측정하며, 다양한 모델 너비와 깊이 간 비교를 수행한다.
• 각 설정에서 10회의 독립 실행을 수행하여 경험적 구간을 생성하고 분산을 평가한다.

실험 결과

연구 질문

• RQ1 과정보적 파arametrization에서 모델 크기 d와 표본 크기 n이 최적의 조기 정지 시점에 어떻게 영향을 미치는가?
• RQ2 실제로 모델 너비가 증가함에 따라 최적의 조기 정지 시점이 감소하는 이유는 무엇인가, 이는 이전 이론 모델과 정반대이다.
• RQ3 과정보적 파arametrization과 부정보적 파arametrization 설정 간 최적의 조기 정지 행동은 어떻게 다를까?
• RQ4 최적의 조기 정지 시점에 대한 이론적 예측이 딥러닝 네트워크의 경험적 학습 동역학과 어느 정도 일치하는가?
• RQ5 레이블 노이즈는 다양한 모델 너비와 깊이에서 최적의 조기 정지 시점에 어떤 영향을 미치는가?

주요 결과

• 과정보적 파arametrization(d > p)에서는 최적의 조기 정지 시점이 모델 너비 d가 증가함에 따라 감소하며, ResNet과 두 층의 ReLU 네트워크에서의 경험적 관찰과 일치한다.
• 부정보적 파arametrization(d ≤ p)에서는 최적의 조기 정지 시점이 모델 크기 d와 표본 크기 n 모두 증가함에 따라 증가하며, 이는 이전 이론 작업과 일치한다.
• 과정보적 모델에서는 최적의 조기 정지 시점에서의 테스트 리스크가 표본 크기 n이 증가함에 따라 감소하여 더 많은 데이터로 인해 일반화 성능이 향상됨을 나타낸다.
• 부정보적 모델에서는 최적의 조기 정지 시점에서의 테스트 리스크가 모델 크기 d와 표본 크기 n 모두 증가함에 따라 감소한다.
• 20% 레이블 노이즈가 있는 CIFAR-100에서의 경험적 결과는 모델 너비가 증가함에 따라 최적의 조기 정지 시점이 감소하며, 과정보적 설정의 이론적 예측과 일치한다.
• 모델 너비를 늘리면서 ResNet의 깊이를 4에서 6으로 늘리면 최적의 조기 정지 시점이 유의미하게 감소함을 확인하여, 이 트렌드가 아키텍처 깊이를 초월해 성립함을 확인한다.