[논문 리뷰] On the diffusion approximation of nonconvex stochastic gradient descent

Wenqing Hu, Chris Junchi Li외 2명|arXiv (Cornell University)|2017. 05. 22.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 29

한 줄 요약

이 논문은 작은 스텝사이즈 영역에서 마스터 방정식 프레임워크를 사용하여 비볼록 확률적 경사하강법(Stochastic Gradient Descent, SGD)에 대한 엄밀한 약한 확산 근사법을 수립한다. 이는 SGD가 국소 최소화점에서 지수적으로 빠르게 탈출하고, 안정성이 없는 정류점(saddle points)에서는 역스텝사이즈에 대해 거의 선형적으로 빠르게 탈출함을 보여주며, 이는 노이즈 구조에 따라 달라진다. 연구는 작은 배치 크기가 날카롭게 떨어진 최소화점과 불안정한 점들에서의 탈출을 향상시킨다는 것을 입증하며, 딥 러닝에서 더 나은 일반화를 위한 적응형 배치 크기 스케줄링 전략을 뒷받침한다.

ABSTRACT

We study the Stochastic Gradient Descent (SGD) method in nonconvex optimization problems from the point of view of approximating diffusion processes. We prove rigorously that the diffusion process can approximate the SGD algorithm weakly using the weak form of master equation for probability evolution. In the small step size regime and the presence of omnidirectional noise, our weak approximating diffusion process suggests the following dynamics for the SGD iteration starting from a local minimizer (resp.~saddle point): it escapes in a number of iterations exponentially (resp.~almost linearly) dependent on the inverse stepsize. The results are obtained using the theory for random perturbations of dynamical systems (theory of large deviations for local minimizers and theory of exiting for unstable stationary points). In addition, we discuss the effects of batch size for the deep neural networks, and we find that small batch size is helpful for SGD algorithms to escape unstable stationary points and sharp minimizers. Our theory indicates that one should increase the batch size at later stage for the SGD to be trapped in flat minimizers for better generalization.

연구 동기 및 목표

• 작은 스텝사이즈 영역에서 마스터 방정식을 사용하여 비볼록 SGD에 대한 엄밀한 약한 확산 근사법을 수립하기.
• 대규모 이탈 이론과 이탈 시간 이론을 활용하여, 불안정한 정류점(saddles)과 국소 최소화점에서의 SGD 탈출 역학을 분석하기.
• 배치 크기가 비볼록 최적화에서 SGD 역학에 미치는 영향과 딥 네ural 네트워크에서의 일반화에 미치는 영향을 조사하기.
• 특히 후기 학습 단계에서 배치 크기를 증가시키는 전략을 포함한 적응형 배치 크기 스케줄링에 대한 이론적 근거 제공하기.

제안 방법

• 약한 마스터 방정식의 형태를 사용하여 이산적인 SGD 반복을 확률적 미분 방정식(SDE)으로 공식화한 약한 근사.
• 국소 최소화점에서의 탈출 시간을 특성화하기 위해 대규모 이탈 이론의 적용으로, 역스텝사이즈에 대한 지수적 의존성을 보여줌.
• 불안정한 정류점에서의 탈출 시간을 분석하기 위해 이탈 시간 이론을 활용하여, 역스텝사이즈에 대해 거의 선형적인 탈출 스케일링을 유도함.
• 모든 방향으로 노이즈가 존재하는 조건에서의 확산 과정 분석을 통해 SGD의 확률적 역학을 모델링함.
• 배치 크기와 노이즈 수준, 확산 계수 간의 관계를 연결하여 미니배치 SGD의 확산 근사 유도.
• 완전 연결 네트워크를 사용한 MNIST에서의 수치적 검증: 무작위 경로의 확산과 테스트 정확도를 비교하여 큰 배치와 작은 배치 방법 분석.

실험 결과

연구 질문

• RQ1 확산 근사 프레임워크는 비볼록 최적화에서 SGD의 국소 최소화점과 정류점에서의 탈출 역학을 어떻게 설명하는가?
• RQ2 불안정한 정류점과 국소 최소화점에서의 탈출 시간은 스텝사이즈와 노이즈 구조에 따라 어떻게 스케일링되는가?
• RQ3 배치 크기는 SGD의 확산 계수와 무작위성에 어떤 영향을 미치며, 이는 수렴과 일반화에 어떤 영향을 미치는가?
• RQ4 확산 근사 프레임워크는 딥 러닝에서 더 나은 일반화를 위한 적응형 배치 크기 스케줄링 전략을 어떻게 정당화할 수 있는가?
• RQ5 모든 방향으로 노이즈가 존재하는 조건은 날카로운 최소화점과 정류점에서의 신속한 탈출을 어떻게 가능하게 하는가?

주요 결과

• 국소 최소화점에서의 탈출 시간은 역스텝사이즈에 대해 지수적으로 스케일링되며, 이는 작은 스텝과 충분한 노이즈 조건에서 매우 신속한 탈출을 의미한다.
• 정류점에서의 탈출 시간은 역스텝사이즈에 대해 거의 선형적으로 스케일링되며, 이는 이전에 보고된 O(η−2) 비율보다 훨씬 더 빠른 속도임을 시사한다.
• 작은 배치 크기는 더 높은 수준의 전방향 노이즈를 생성하여 확산 과정을 강화하고, 날카로운 최소화점과 불안정한 정류점에서의 탈출 속도를 향상시킨다.
• 큰 배치 크기는 낮은 확산 계수를 초래하여 SGD가 더 날카로운 최소화점으로 수렴하고 일반화 성능이 떨어지며, MNIST에서의 수치 실험으로 확인되었다.
• 수치 결과는 작은 배치 방법이 더 큰 무작위 경로의 확산과 더 높은 테스트 정확도를 보이며, 큰 배치 방법은 더 높은 훈련 정확도이지만 낮은 테스트 정확도를 보임을 검증한다.
• 연구는 후기 학습 단계에서 배치 크기를 증가시키는 것이 SGD가 더 평평한 최소화점에 갇히도록 도와주어 일반화 성능을 향상시킬 수 있다는 추측을 지지한다.