[논문 리뷰] Early Stopping without a Validation Set

Maren Mahsereci, Lukas Balles외 2명|arXiv (Cornell University)|2017. 03. 28.

Neural Networks and Applications참고 문헌 15인용 수 27

한 줄 요약

이 논문은 검증 세트가 필요 없이 훈련 데이터의 국소적 기울기 통계를 이용해 기울기가 노이즈가 되기 시작할 때 과적합이 발생하고 있음을 감지함으로써, 훈련 데이터를 전체적으로 활용할 수 있도록 하는 새로운 조기 정지 방법인 eb-기준을 제안한다. 이 방법은 선형 모델, 로지스틱 회귀, 딥 네URAL 네트워크 등 다양한 모델에서 경쟁적인 일반화 성능을 달성하며, 데이터가 부족한 환경에서 검증 기반 조기 정지보다 우수한 성능을 보이는 실험 결과를 제시한다.

ABSTRACT

Early stopping is a widely used technique to prevent poor generalization performance when training an over-expressive model by means of gradient-based optimization. To find a good point to halt the optimizer, a common practice is to split the dataset into a training and a smaller validation set to obtain an ongoing estimate of the generalization performance. We propose a novel early stopping criterion based on fast-to-compute local statistics of the computed gradients and entirely removes the need for a held-out validation set. Our experiments show that this is a viable approach in the setting of least-squares and logistic regression, as well as neural networks.

연구 동기 및 목표

• 표준 조기 정지 방법이 검증 세트를 별도로 확보해야 하므로 훈련 데이터 사용 가능성이 줄어드는 한계를 해결하기 위해.
• 외부 데이터 분할에 의존하지 않고 과적합을 감지할 수 있는 기준을 개발하여 훈련 데이터를 전체적으로 활용할 수 있도록 하기 위해.
• 최적화 과정에서 일반화 성능의 대체 지표로 국소적 기울기 통계를 활용하기 위해.
• 선형 회귀, 로지스틱 회귀, 딥 네URAL 네트워크 등 다양한 모델에 대해 이 방법을 평가하기 위해.
• 훈련 중 모델 복잡도를 세밀하게 제어할 수 있도록 요소별 정지 기능을 제공하기 위해.

제안 방법

• eb-기준은 각 기울기 성분에 대해 제곱 기울기와 그 경험적 분산을 이용해 신호 대 노이즈 비율을 계산한다: $ f_k = m \cdot (\nabla L_\mathcal{B}^k)^2 / \hat{\Sigma}_k $, 여기서 $ \hat{\Sigma}_k $는 기울기 성분 $ k $의 추정 분산이다.
• 전체 정지 신호는 모든 파라미터에 대해 $ f_k $의 평균이며, 기울기가 정보를 많이 담고 있을 때 증가하고 노이즈가 많아지면 감소한다.
• 지수 이동 평균을 사용해 시간에 따라 기울기 통계를 부드럽게 조정함으로써, 모든 파라미터가 활성화된 웜업 단계를 가능하게 한다.
• 평균 $ f_k $가 임계값 이하로 떨어지면 정지가 촉발되며, 이는 추가 최적화가 과적합을 유발할 수 있음을 시사한다.
• 이 방법은 전체 배치 및 확률적 기울기 하강법 모두와 호환되며, 최소한의 계산 오버헤드를 갖는다.
• 확장된 버전은 기준을 요소별로 적용하여, 각 기울기 신호 대 노이즈 비율이 떨어지면 해당 파라미터를 '고정'할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 훈련 데이터 기울기만을 기반으로 검증 세트 없이도 효과적으로 조기 정지를 수행할 수 있는가?
• RQ2 최적화 과정에서 국소적 기울기 통계가 과적합의 시작을 신뢰성 있게 감지할 수 있는가?
• RQ3 검증 세트가 없는 조기 정지 기준이 표준 검증 기반 방법보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 이 방법을 요소별 파라미터 제어로 확장할 수 있으며, 훈련 중에 동적으로 모델 복잡도를 줄일 수 있는가?
• RQ5 검증 세트 크기가 제한된 데이터가 부족한 환경에서 이 방법의 성능은 어떠한가?

주요 결과

• SECTOR 데이터셋에서 eb-기준은 작은 검증 세트로 인해 성능 추정의 분산이 높은 상황에서 검증 기반 조기 정지보다 뛰어난 성능을 보였다.
• SECTOR 데이터셋에서 eb-기준은 모든 훈련 데이터를 사용했음에도 불구하고 검증 기반 정지보다 낮은 테스트 손실을 기록했으며, 이는 일반화 추정의 분산 감소 덕분이었다.
• SECTOR에서 로지스틱 회귀 및 얕은 신경망에 대한 실험에서 eb-기준은 과적합을 방지했고, 검증 기반 방법과 동등하거나 그 이상의 성능을 달성했다.
• MNIST 데이터셋에서는 요소별 eb-기준이 단일 레이어에서 최대 80%의 파라미터를 정지시키고, 전체 네트워크에서는 약 50%의 파라미터를 정지시켰으며, 이는 효과적인 모델 복잡도 감소를 의미한다.
• 대규모 파라미터를 정지시킨 상태에서도 테스트 손실이 요소별 정지 없이 훈련된 모델들과 유사한 성능을 기록했으며, 이는 효과적인 일반화 제어를 가능하게 했다.
• 이 방법은 계산 오버헤드가 거의 없으며 표준 확률적 기울기 하강법과 호환되어 실생활 딥 러닝 응용에 실용적이다.