[논문 리뷰] On the Hyperparameters in Stochastic Gradient Descent with Momentum

Bin Shi|arXiv (Cornell University)|2021. 08. 09.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 하이퍼파rameter에 의존하는 확률적 미분 방정식(hp-dependent SDE)을 통해 비볼록 최적화에서 모멘텀을 가진 확률적 경사하강법(SGDM)의 이론적 분석을 제공한다. 학습률과 모멘텀 계수의 상호작용이 선형 수렴 속도를 결정함을 보여주며, 이는 모멘텀을 가진 SGDM(예: α=0.9)이 표준 SGD보다 빠르게 수렴하고 더 강건한 이유를 밝혀낸다.

ABSTRACT

Following the same routine as [SSJ20], we continue to present the theoretical analysis for stochastic gradient descent with momentum (SGD with momentum) in this paper. Differently, for SGD with momentum, we demonstrate it is the two hyperparameters together, the learning rate and the momentum coefficient, that play the significant role for the linear rate of convergence in non-convex optimization. Our analysis is based on the use of a hyperparameters-dependent stochastic differential equation (hp-dependent SDE) that serves as a continuous surrogate for SGD with momentum. Similarly, we establish the linear convergence for the continuous-time formulation of SGD with momentum and obtain an explicit expression for the optimal linear rate by analyzing the spectrum of the Kramers-Fokker-Planck operator. By comparison, we demonstrate how the optimal linear rate of convergence and the final gap for SGD only about the learning rate varies with the momentum coefficient increasing from zero to one when the momentum is introduced. Then, we propose a mathematical interpretation why the SGD with momentum converges faster and more robust about the learning rate than the standard SGD in practice. Finally, we show the Nesterov momentum under the existence of noise has no essential difference with the standard momentum.

연구 동기 및 목표

• 비볼록 최적화에서 모멘텀을 가진 SGD(SGDM)의 우수한 성능 뒤에 있는 이론적 메커니즘을 이해하는 것.
• 학습률과 모멘텀 계수의 상호작용이 SGDM의 선형 수렴 속도에 어떻게 영향을 미치는지 조사하는 것.
• 관측된 SGDM의 더 빠른 수렴과 강건성에 대한 수학적 설명을 제공하는 것.
• 노이즈가 존재하는 상황에서 네스터로프 모멘텀의 역할을 분석하고, 스트로크 모멘텀과 비교하는 것.

제안 방법

• SGDM의 연속적 대체 모델로 하이퍼파rameter에 의존하는 확률적 미분 방정식(hp-dependent SDE)을 수립한다.
• 저항성 이론과 반고전적 분석과 같은 고급 수학적 도구를 사용하여 hp-dependent SDE의 동역학을 연구한다.
• Kramers-Fokker-Planck 연산자의 스펙트럼을 분석하여 최적의 선형 수렴 속도에 대한 명시적 표현을 유도한다.
• Nesterov 가속 경사(NAG-SC 및 NAG-C)에 대한 고해상도 SDE를 유도하여 표준 SGDM 모델과 비교한다.
• 학습률과 모멘텀 계수의 종속성을 통합하기 위해 혼합 파라미터 μ = (1−α)²/(1+α)² · 1/s 를 도입한다.
• hp-dependent SDE와 NAG 변형에 대한 고해상도 SDE 간의 지수 감쇠 상수(수렴 속도)를 비교한다.

실험 결과

연구 질문

• RQ1 학습률 s 가 고정되어 있을 때, 모멘텀 계수 α 가 SGDM의 반복적 행동에 어떻게 영향을 미치는가?
• RQ2 모멘텀 계수 α 가 고정되어 있을 때, 학습률 s 가 SGDM의 수렴 행동에 어떻게 영향을 미치는가?
• RQ3 SGDM이 표준 SGD보다 더 빠르게 수렴하고 더 강건한 이유에 대한 수학적 근거는 무엇인가?
• RQ4 노이즈가 존재하는 상황에서 네스터로프 모멘텀이 스트로크 모멘텀보다 본질적인 이점을 제공하는가?
• RQ5 학습률 s 와 모멘텀 계수 α 가 비볼록 최적화에서 선형 수렴 속도에 어떻게 공동으로 영향을 미치는가?

주요 결과

• 비볼록 최적화에서 SGDM의 선형 수렴 속도는 학습률 s 와 모멘텀 계수 α 의 상호작용에 의해 결정되며, 각각 독립적으로 영향을 받지 않는다.
• hp-dependent SDE 프레임워크 내에서 Kramers-Fokker-Planck 연산자의 스펙트럼을 통해 최적의 선형 수렴 속도가 명시적으로 유도된다.
• 모멘텀 계수 α 가 0에서 1로 증가함에 따라 최적의 수렴 속도가 크게 향상되며, 모멘텀 없이 SGD만을 사용할 경우의 최종 갭은 α 가 증가함에 따라 감소한다.
• hp-dependent SDE 모델은 모멘텀의 안정화 효과로 인해 표준 SGD보다 학습률 변화에 더 강건한 것으로 나타났다.
• 노이즈가 존재하는 상황에서 네스터로프 모멘텀은 스트로크 모멘텀에 비해 본질적인 이점을 제공하지 않으며, 고해상도 SDE 분석에서 두 모멘텀의 수렴 동역학은 渐近적으로 동일하다.
• α=0.9 이고 s 가 작을 경우, hp-dependent SDE와 NAG-SC에 대한 고해상도 SDE의 지수 감쇠 상수가 정량적으로 유사하여, α=0.9 가 실용적으로 효과적임을 확인한다.