[논문 리뷰] Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning

Pan Zhou, Jiashi Feng외 4명|arXiv (Cornell University)|2020. 10. 12.

Stochastic Gradient Optimization Techniques인용 수 99

한 줄 요약

본 논문은 Lévy-driven SDEs로 gradient noise를 모델링하고 로컬 basins에서의 이탈 시간 분석을 통해 SGD가 Adam보다 일반화가 더 잘되는 원인을 설명하며, Radon measure와 basin stability 간의 연결을 보인다.

ABSTRACT

It is not clear yet why ADAM-alike adaptive gradient algorithms suffer from worse generalization performance than SGD despite their faster training speed. This work aims to provide understandings on this generalization gap by analyzing their local convergence behaviors. Specifically, we observe the heavy tails of gradient noise in these algorithms. This motivates us to analyze these algorithms through their Levy-driven stochastic differential equations (SDEs) because of the similar convergence behaviors of an algorithm and its SDE. Then we establish the escaping time of these SDEs from a local basin. The result shows that (1) the escaping time of both SGD and ADAM~depends on the Radon measure of the basin positively and the heaviness of gradient noise negatively; (2) for the same basin, SGD enjoys smaller escaping time than ADAM, mainly because (a) the geometry adaptation in ADAM~via adaptively scaling each gradient coordinate well diminishes the anisotropic structure in gradient noise and results in larger Radon measure of a basin; (b) the exponential gradient average in ADAM~smooths its gradient and leads to lighter gradient noise tails than SGD. So SGD is more locally unstable than ADAM~at sharp minima defined as the minima whose local basins have small Radon measure, and can better escape from them to flatter ones with larger Radon measure. As flat minima here which often refer to the minima at flat or asymmetric basins/valleys often generalize better than sharp ones , our result explains the better generalization performance of SGD over ADAM. Finally, experimental results confirm our heavy-tailed gradient noise assumption and theoretical affirmation.

연구 동기 및 목표

• 딥러닝에서 SGD와 Adam 간 일반화 격차를 동기 부여한다.
• SGD와 Adam에서 gradient noise를 모델링하기 위한 Lévy-driven SDE 프레임워크를 도입한다.
• 로컬 basins에서의 escaping time을 분석하여 더 평탄한(minima)에 수렴하는 것을 설명한다.
• gradient-noise 꼬리 두께와 기하학적 적응(geometry-adaptation)을 일반화 성능과 연관시킨다.

제안 방법

• SGD와 Adam을 Lévy-driven stochastic differential equations (SDEs)의 이산화로 형식화한다.
• gradient noise가 시간 의존 공분산을 갖는 SαS(heavy-tailed) 분포를 따른다고 가정한다.
• 로컬 basin Ω에서의 escaping time Γ를 유도하고 이를 Radon measure m(W)로 특징화한다.
• Γ가 O(ε^{-1}/m(W))의 차수를 가진다는 것을 보이고, geometry adaptation(Adam)과 노이즈 꼬리가 이탈에 미치는 영향을 분석한다.
• Lévy 프로세스를 jump 부분과 작은 운동(small-motion) 부분으로 분해하여 이탈 다이나믹스를 연구한다(정리 2).
• heavy-tailed gradient noise와 이 이론적 프레임워크에 대한 실험적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 딥러닝 설정에서 왜 SGD가 Adam보다 일반화가 더 잘되는가?
• RQ2 heavy-tailed gradient noise와 per-coordinate learning-rate 적응이 최적화 다이나믹스에 어떤 영향을 미치는가?
• RQ3 Radon measure를 통한 basin 기하학의 역할이 SGD와 Adam의 이탈 행동에 어떠한 역할을 하는가?
• RQ4 이탈 시간이 더 평탄하거나 비대칭적인 basin으로의 수렴 및 일반화 성능과 어떻게 연관되는가.

주요 결과

• SGD와 Adam의 gradient noise는 heavy-tailed이며 SαS 분포로 모델링될 수 있고, 이 Tail 특성은 최적화 다이나믹스에 영향을 준다.
• 두 방법 모두 날카로운 최소값에서 이탈하지만, SGD는 일반적으로 더 큰 Radon measure를 가진 basin으로 더 빨리 이탈하여 더 나은 일반화를 설명한다.
• Adam의 per-coordinate 스케일링은 이탈 집합의 실효 Radon measure를 감소시켜 더 평탄한 basin으로의 이탈을 방해한다.
• escaping time Γ은 O(1 / (m(W) Θ(ε^{-1})))로 스케일링되며, 더 큰 basin(m(W))은 이탈에 저항하고 더 평탄한 최소에 유리함을 보인다.
• SGD는 때때로 더 무거운 꼬리 지수 α를 보일 수 있어 더 큰 점프와 더 빠른 basin 전이를 가능하게 하여 더 평탄한 최소에 기여한다.
• 실험은 heavy-tailed gradient noise를 뒷받침하고 이론적 주장을 지지한다.