[논문 리뷰] On the Generalization Benefit of Noise in Stochastic Gradient Descent

Samuel Smith, Erich Elsen외 1명|arXiv (Cornell University)|2020. 06. 26.

Stochastic Gradient Optimization Techniques인용 수 22

한 줄 요약

이 논문은 강화된 초모수 튜닝 조건에서도 확률적 경사하강법(SGD)의 노이즈가 딥러닝에서 일반화를 향상시킨다는 것을 입증한다. 확률적 미분방정식(SDE) 프레임워크를 사용하여, 작은 배치 크기에서 중간 배치 크기까지의 성능이 매우 큰 배치 크기보다 테스트 정확도에서 뛰어나다는 것을 보여주며, 이는 훈련 손실이 더 낮게 나오는 큰 배치 크기와는 대조적으로도 지속적인 일반화 이점이 있음을 확인한다.

ABSTRACT

It has long been argued that minibatch stochastic gradient descent can generalize better than large batch gradient descent in deep neural networks. However recent papers have questioned this claim, arguing that this effect is simply a consequence of suboptimal hyperparameter tuning or insufficient compute budgets when the batch size is large. In this paper, we perform carefully designed experiments and rigorous hyperparameter sweeps on a range of popular models, which verify that small or moderately large batch sizes can substantially outperform very large batches on the test set. This occurs even when both models are trained for the same number of iterations and large batches achieve smaller training losses. Our results confirm that the noise in stochastic gradients can enhance generalization. We study how the optimal learning rate schedule changes as the epoch budget grows, and we provide a theoretical account of our observations based on the stochastic differential equation perspective of SGD dynamics.

연구 동기 및 목표

• 소규모 배치 SGD와 대규모 배치 SGD의 일반화 성능을 놓고 벌어진 논쟁을 해결하기 위해, 철저한 초모수 튜닝을 수행한 통제 실험을 수행한다.
• 훈련 예산(에포크 수)이 증가함에 따라 최적의 학습률 스케줄이 어떻게 변화하는지 분석하며, 특히 훈련 손실 최소화와 테스트 정확도 최대화를 구분한다.
• 확률적 미분방정식(SDE) 시각에서 SGD의 역학을 이론적으로 설명하며, 노이즈 지배 영역과 곡률 지배 영역을 식별한다.
• 학습률 스케줄이 일반화에 미치는 역할을 명확히 하며, 특히 높은 초기 학습률과 후기 단계에서의 급격한 감소가 중요한 이유를 규명한다.
• 일정한 스텝 예산 조건에서도 노이즈의 일반화 이점이 지속됨을 검증하여, 이가 비최적의 튜닝이나 계산 자원 제약에서 비롯된 결과가 아니라는 점을 입증한다.

제안 방법

• SGD의 역학을 모델링하기 위해 확률적 미분방정식(SDE) 프레임워크를 사용하며, 배치 크기와 손실 표면의 곡률에 따라 노이즈 지배 영역과 곡률 지배 영역을 구분한다.
• 고정된 훈련 반복 수와 함께 다양한 표준 모델(예: CIFAR-10에 훈련된 Wide-ResNet)을 대상으로 통제 실험을 수행하며, 각 배치 크기에서 학습률에 대한 체계적인 초모수 스위프를 실시한다.
• 초기 및 최종 학습률을 파ameter화한 학습률 스케줄을 사용하여, 다양한 학습률 경로 간의 일반화 성능를 비교한다.
• 각 배치 크기에서 학습률에 대한 격자 탐색을 수행하여 최적 튜닝을 보장하고, 비최적의 초모수 선택에서 비롯된 편향을 방지한다.
• 에포크 예산이 증가함에 따라 최적의 학습률 감쇠율을 분석하며, 훈련 손실 최소화와 테스트 정확도 최대화를 위한 스케줄을 비교한다.
• 소규모 배치 훈련에서 가장 안정적인 학습률을 추정함으로써 노이즈 지배 영역과 곡률 지배 영역의 경계를 규명한다.

실험 결과

연구 질문

• RQ1 SGD의 확률적 경사 노이즈가 초모수 튜닝이나 계산 자원 예산의 차이와 무관하게 딥러닝에서 진정으로 일반화 이점을 제공하는가?
• RQ2 훈련 예산이 증가함에 따라 테스트 정확도를 최대화하기 위한 최적의 학습률 스케줄은 훈련 손실을 최소화하기 위한 것과 어떻게 다를까?
• RQ3 SGD의 SDE 시각이 노이즈 지배 영역과 곡률 지배 영역이라는 두 가지 명백한 훈련 영역의 존재를 정확히 예측할 수 있으며, 이들이 일반화에 미치는 영향을 설명할 수 있는가?
• RQ4 일정한 반복 수로 훈련할 경우, 배치 크기, 학습률, 테스트 세트 성능 간의 관계는 어떠한가?
• RQ5 일반화를 촉진하는 '최적의 온도'(학습률과 배치 크기의 비율)가 존재하는가? 이 비율은 계산 예산에 따라 어떻게 스케일링되는가?

주요 결과

• 16-4 Wide-ResNet을 CIFAR-10에 대해 훈련한 결과, 9725회의 훈련 업데이트 후에도 소규모 및 중간 규모의 배치 크기(예: 2048)는 매우 큰 배치 크기(16384)보다 훨씬 높은 테스트 정확도(94.9%)를 기록했다.
• 테스트 정확도를 최대화하기 위한 최적의 학습률은 에포크 예산이 128배 증가하더라도 오직 2배 정도로만 감쇠하는 데 반해, 훈련 손실을 최소화하기 위한 최적의 학습률은 빠르게 감쇠한다.
• 테스트 정확도 최대화를 위한 최적의 초기 학습률은 훈련 손실 최소화를 위한 것보다 항상 높으며, 테스트 정확도 최대화를 위한 최적의 최종 학습률은 항상 낮다.
• 일정한 스텝 예산 조건에서도 노이즈의 일반화 이점이 지속됨을 확인하여, 이가 더 긴 훈련 기간이나 비최적의 튜닝에서 기인한 결과가 아니라는 점을 입증했다.
• 소규모 배치 스위프에서 가장 안정적인 학습률을 추정함으로써 노이즈 지배 영역과 곡률 지배 영역의 경계를 추정할 수 있으며, 이는 배치 크기 선택에 실용적인 전략을 제시한다.
• 초기 학습률을 높게 유지하고 후기 단계에서 급격히 감소시키는 학습률 스케줄이 더 우수한 일반화 성능를 보이며, 이는 시뮬레이티드 앤날링과의 유사성과 초기 단계에서의 노이즈가 일반화를 형성하는 데 중요한 역할을 한다는 점을 뒷받침한다.