[논문 리뷰] A Bayesian Perspective on Generalization and Stochastic Gradient Descent

Samuel Smith, Quoc V. Le|arXiv (Cornell University)|2017. 10. 17.

Stochastic Gradient Optimization Techniques인용 수 24

한 줄 요약

이 논문은 베이지안 증거가 확률적 경사 하강법(SGD)의 일반화 성능을 설명하는 데 기여함을 제안한다: 이는 모델 매개변수화에 영향을 받지 않으면서 날카로운 최소값을 처벌하기 때문이다. 저자들은 소음 규모 $ g \approx \epsilon N / B $ 를 유도하여, 최적 배치 크기 $ B_{\text{opt}} \propto \epsilon N $ 가 테스트 정확도를 최대화함을 보이며, 이는 학습률, 배치 크기, 훈련 데이터셋 크기 등 다양한 조건에서 경험적으로 확인되었다.

ABSTRACT

We consider two questions at the heart of machine learning; how can we predict if a minimum will generalize to the test set, and why does stochastic gradient descent find minima that generalize well? Our work responds to Zhang et al. (2016), who showed deep neural networks can easily memorize randomly labeled training data, despite generalizing well on real labels of the same inputs. We show that the same phenomenon occurs in small linear models. These observations are explained by the Bayesian evidence, which penalizes sharp minima but is invariant to model parameterization. We also demonstrate that, when one holds the learning rate fixed, there is an optimum batch size which maximizes the test set accuracy. We propose that the noise introduced by small mini-batches drives the parameters towards minima whose evidence is large. Interpreting stochastic gradient descent as a stochastic differential equation, we identify the "noise scale" $g = ε(\frac{N}{B} - 1) \approx εN/B$, where $ε$ is the learning rate, $N$ the training set size and $B$ the batch size. Consequently the optimum batch size is proportional to both the learning rate and the size of the training set, $B_{opt} \propto εN$. We verify these predictions empirically.

연구 동기 및 목표

• 확률적 경사 하강법(SGD)이 랜덤 레이블을 기억할 수 있는 모델임에도 불구하고, 왜 실제 레이블에 대해 잘 일반화되는지를 설명하기.
• 장 등(2016)이 제기한 역설을 다루기: 딥 네트워크가 랜덤 레이블을 기억하지만 실제 데이터에선 일반화됨.
• 소형 배치 노이즈가 베이지안 증거가 높은 최소값으로 향하게 하는 데 기여하는 역할을 규명하기.
• 학습률, 훈련 데이터셋 크기, 모멘텀과의 관계에서 최적 배치 크기의 스케일링 규칙을 유도하고 검증하기.

제안 방법

• 모델 매개변수화에 영향을 받지 않는 Occam 요소를 통해 날카로운 최소값을 처벌하는 모델 증거를 평가하기 위해 베이지안 모델 비교를 사용한다.
• 소음 규모 $ g \approx \epsilon N / B $ 를 갖는 확률적 미분 방정식으로 SGD를 모델링하며, 여기서 $ \epsilon $ 는 학습률, $ N $ 은 훈련 데이터셋 크기, $ B $ 는 배치 크기이다.
• 노이즈에 의한 탐색과 높은 증거를 가진 최소값으로의 수렴을 균형 잡기 위해 최적 배치 크기 $ B_{\text{opt}} \propto \epsilon N $ 을 유도한다.
• 모멘텀이 있는 SGD로 분석을 확장하여 $ g \approx \frac{\epsilon N}{B(1 - m)} $ 과 $ B_{\text{opt}} \propto \frac{1}{1 - m} $ 을 유도하며, 여기서 $ m $ 은 모멘텀 계수이다.
• 학습률, 배치 크기, 훈련 데이터셋 크기, 모멘텀 값 등 다양한 조건에서 최적 스케일링 법칙을 경험적으로 검증한다.
• 교차 엔트로피 손실과 L2 정규화, 가우시안 사전분포를 사용하여 비용 함수 $ C(\omega; M) = H(\omega; M) + \lambda \omega^2 / 2 $ 를 계산하며, 이는 사후분포와 증거와 연결된다.

실험 결과

연구 질문

• RQ1 학습률이 랜덤 레이블을 기억할 수 있는 모델임에도 불구하고, 왜 SGD로 훈련된 모델이 실제 레이블에 대해 잘 일반화되는가?
• RQ2 SGD의 소형 배치 노이즈가 일반화되는 최소값 선택에 어떤 영향을 미치는가?
• RQ3 SGD에서 최적 배치 크기, 학습률, 훈련 데이터셋 크기 사이의 관계는 무엇인가?
• RQ4 모멘텀은 SGD에서 최적 배치 크기에 어떤 영향을 미치는가?
• RQ5 베이지안 증거는 딥 네트워크와 작은 선형 모델 모두에서 일반화를 설명할 수 있는가?

주요 결과

• 장 등(2016)이 딥 네트워크에서 관찰한 랜덤 레이블 기억 현상은 작은 오버파라미터라이즈드 선형 모델에서도 발생한다.
• 베이지안 증거는 일반화를 설명한다: 날카로운 최소값을 처벌하고 모델 매개변수화에 영향을 받지 않으며, 이는 기억 현상의 역설을 해결한다.
• 최적의 배치 크기가 존재하며, 이는 테스트 정확도를 최대화하며, 학습률과 훈련 데이터셋 크기와 선형으로 비례한다: $ B_{\text{opt}} \propto \epsilon N $.
• 경험적 결과는 선형 스케일링 법칙 $ B_{\text{opt}} \propto \epsilon N $ 을 확인하며, 피크 테스트 정확도는 $ \epsilon \sim 3 $ 까지 안정적으로 유지되며, 이를 초월하면 이산화 오차로 성능이 떨어진다.
• 모멘텀이 있는 SGD의 경우 최적 배치 크기는 $ B_{\text{opt}} \propto \frac{1}{1 - m} $ 으로 스케일링되며, 경험적 결과는 이 법칙과 강한 일치를 보인다.
• 최적 배치 크기는 훈련 데이터셋 크기 증가에 따라 증가하며, 데이터셋 크기가 커질수록 일반화 갭이 감소하므로, 점점 커지는 데이터를 다루는 생산 환경에서는 더 큰 배치 크기를 사용하는 것이 바람직하다.