[논문 리뷰] Understanding Generalization and Stochastic Gradient Descent

Samuel Smith, Quoc V. Le|arXiv (Cornell University)|2017. 10. 17.

Machine Learning and Algorithms참고 문헌 9인용 수 4

한 줄 요약

이 논문은 일반화를 베이지안 증거와 연결함으로써 딥러닝에서 확률적 경사하강법(SGD)이 잘 일반화되는 이유를 설명한다. 이는 날카로운 최소값보다 넓은 최소값을 선호하는 원리이다. 학습률과 학습 데이터셋 크기의 곱에 비례하는 최적의 배치 크기를 규명하며, 작은 미니배치가 최적화를 고증거 최소값 쪽으로 이끈다는 점을 실험적으로 입증한다.

ABSTRACT

We consider two questions at the heart of machine learning; how can we predict if a minimum will generalize to the test set, and why does stochastic gradient descent find minima that generalize well? Our work responds to Zhang et al. (2016), who showed deep neural networks can easily memorize randomly labeled training data, despite generalizing well on real labels of the same inputs. We show that the same phenomenon occurs in small linear models. These observations are explained by the Bayesian evidence, which penalizes sharp minima but is invariant to model parameterization. We also demonstrate that, when one holds the learning rate fixed, there is an optimum batch size which maximizes the test set accuracy. We propose that the introduced by small mini-batches drives the parameters towards minima whose evidence is large. Interpreting stochastic gradient descent as a stochastic differential equation, we identify the noise scale $g = \epsilon (\frac{N}{B} - 1) \approx \epsilon N/B$, where $\epsilon$ is the learning rate, $N$ the training set size and $B$ the batch size. Consequently the optimum batch size is proportional to both the learning rate and the size of the training set, $B_{opt} \propto \epsilon N$. We verify these predictions empirically.

연구 동기 및 목표

• SGD가 테스트 데이터에서 잘 일반화되는 최소값을 찾는 이유를 이해하는 것.
• Zhang 등(2016)이 랜덤 레이블을 기억할 수 있는 모델을 보여준 바 있는 바를 고려하여 신경망의 일반화 행동을 설명하는 것.
• 배치 크기와 학습률이 일반화 성능에 미치는 영향을 조사하는 것.
• SGD의 동역학을 베이지안 증거와 연결함으로써, 매arameterization과 관계없이 날카로운 최소값을 페널티 처리하는 원리를 설명하는 것.
• 테스트 정확도를 최대화하는 이론적 최적의 배치 크기를 유도하고 검증하는 것.

제안 방법

• 모델의 일반화를 측정하기 위해 베이지안 증거를 사용하며, 이는 넓은 최소값을 선호하고 모델 파arameterization과 무관하다.
• SGD를 확률적 미분방정식으로 모델링하여 노이즈 규모 $ g = \epsilon (\frac{N}{B} - 1) \approx \epsilon N/B $ 를 유도한다. 여기서 $ \epsilon $ 는 학습률, $ N $ 은 학습 데이터셋 크기, $ B $ 는 배치 크기이다.
• 작은 미니배치가 낮은 최소값으로의 최적화를 이끄는 노이즈를 도입한다고 제안한다.
• 최적의 배치 크기를 $ B_{\text{opt}} \propto \epsilon N $ 로 유도하며, 이는 학습률과 학습 데이터셋 크기와 선형으로 증가함을 보여준다.
• 실제로 작은 선형 모델과 딥 네트워크를 사용하여 실수 데이터와 무작위로 레이블이 부여된 데이터에서 이론적 예측을 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 SGD로 훈련된 모델들이 랜덤 레이블을 기억할 수 있음에도 불구하고 왜 잘 일반화되는가?
• RQ2 배치 크기의 선택이 SGD에서 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 확률적 성질에 의해 유도되는 노이즈와 최소값의 베이지안 증거 사이의 관계는 무엇인가?
• RQ4 학습률과 학습 데이터셋 크기를 기반으로 최적의 배치 크기를 분석적으로 예측할 수 있는가?
• RQ5 무작위 레이블에 대한 기억 현상은 깊은 네트워크를 초월하여 더 작은 모델에도 적용되는가?

주요 결과

• 베이지안 증거는 날카로운 최소값을 페널티 처리하며, 모델 파arameterization과 무관하여 일반화의 이론적 설명을 제공한다.
• 작은 선형 모델 역시 무작위로 레이블이 부여된 데이터를 기억할 수 있음을 확인하여, 기억 현상이 깊은 네트워크에만 국한되지 않음을 입증한다.
• 학습률가 고정되어 있을 때, 테스트 세트 정확도를 최대화하는 최적의 배치 크기가 존재한다.
• 최적의 배치 크기는 학습률과 학습 데이터셋 크기와 비례하며, $ B_{\text{opt}} \propto \epsilon N $ 로 표현된다.
• 실험 결과는 작은 미니배치가 유도하는 노이즈가 고증거 최소값 쪽으로 최적화를 이끈다는 점을 확인하며 일반화 성능을 향상시킴을 보여준다.