[논문 리뷰] Nesterov's method with decreasing learning rate leads to accelerated stochastic gradient descent

Maxime Laborde, Adam M. Oberman|arXiv (Cornell University)|2019. 08. 21.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 뉴스터로프 방법의 연속시간 미분방정식(ODE) 공식화로부터 유도된 새로운 확률적 경사하강법(SGD) 알고리즘을 제안한다. 감소하는 학습률을 사용함으로써 가속된 수렴을 달성한다. 감소하는 스텝 크기를 갖는 결합된 ODE 시스템을 이산화함으로써, 강凸 조건에서 마지막 반복에 대해 최적의 $\mathcal{O}(1/k)$ 수렴 속도를 달성하고, 凸 조건에서는 $\mathcal{O}(k^{-3/4})$ 수렴 속도를 달성한다. 이는 이전 방법들에 비해 향상된 속도 상수를 갖는다.

ABSTRACT

We present a coupled system of ODEs which, when discretized with a constant time step/learning rate, recovers Nesterov's accelerated gradient descent algorithm. The same ODEs, when discretized with a decreasing learning rate, leads to novel stochastic gradient descent (SGD) algorithms, one in the convex and a second in the strongly convex case. In the strongly convex case, we obtain an algorithm superficially similar to momentum SGD, but with additional terms. In the convex case, we obtain an algorithm with a novel order $k^{3/4}$ learning rate. We prove, extending the Lyapunov function approach from the full gradient case to the stochastic case, that the algorithms converge at the optimal rate for the last iterate of SGD, with rate constants which are better than previously available.

연구 동기 및 목표

• 연속시간 ODE 프레임워크를 사용하여 가속된 수렴을 달성하는 새로운 확률적 경사하강법 알고리즘을 개발하기.
• 수렴 속도를 증명하기 위해 결정론적 설정에서의 리아푸노프 함수 접근법을 확률적 설정으로 확장하기.
• 특히 강凸 조건에서 SGD의 마지막 반복에 대한 수렴 경계의 속도 상수를 향상시키기.
• 함수의 수렴 속도를 최적화하기 위해 凸 조건에서 $k^{-3/4}$ 순서의 새로운 학습률 스케줄을 유도하기.
• ODE 기반 시스템에서 학습률을 감소시키면 기존 방법보다 더 좋은 상수를 갖는 가속된 SGD를 얻을 수 있음을 보여주기.

제안 방법

• 상수 학습률을 사용할 경우 뉴스터로프 가속 경사하강법을 복원하는 두 개의 1차 ODE로 이루어진 결합된 시스템을 유도하기.
• 동일한 ODE 시스템에 감소하는 학습률 스케줄을 도입하여 새로운 확률적 경사하강법 알고리즘을 생성하기.
• 리아푸노프 함수 접근법을 사용하여 수렴을 증명하고, 분산이 유한한 조건에서 결정론적 분석을 확률적 경우로 확장하기.
• 함수 값과 모멘타움 항을 조합한 리아푸노프 함수 $E_k^C$를 정의하여, 알고리즘 하에서 기대값이 단조 감소하도록 보장하기.
• 리아푸노프 함수의 차이를 합하고 적분 비교를 통해 얻어진 급수를 유계로 제한함으로써 수렴 경계를 확립하기.
• 함수의 수렴 속도 분석을 위해 $h_k = c / (k+1)^{3/4}$ 를 凸 조건에서의 학습률로 제안하고, $t_k = \sum_{i=0}^k h_i$ 를 통한 影響 분석 수행하기.

실험 결과

연구 질문

• RQ1 뉴스터로프 방법의 연속시간 ODE 공식화를 감소하는 학습률을 갖는 확률적 설정에 적응시켜 가속된 SGD를 도출할 수 있는가?
• RQ2 제안된 알고리즘이 강凸 조건에서 마지막 반복에 대해 최적의 $\mathcal{O}(1/k)$ 수렴 속도를 달성하고, 이에 더해 속도 상수를 향상시킬 수 있는가?
• RQ3 함수의 수렴 속도를 최적화하기 위해 $k^{-3/4}$ 순서의 새로운 학습률 스케줄을 도출하고, 이가 凸 조건에서 최적의 수렴을 이끌 수 있는가?
• RQ4 분산이 유한한 조건에서, 리아푸노프 함수 접근법이 확률적 경우로 어떻게 확장될 수 있는가?
• RQ5 강凸 조건에서 수렴 속도 상수에서 매끄러움 상수 $L$ 의 의존성을 제거하면 어떤 영향을 미치는가?

주요 결과

• 강凸 조건에서, 알고리즘은 마지막 반복에 대해 최적의 $\mathcal{O}(1/k)$ 수렴 속도를 달성하며, 이에 따른 속도 상수는 더 이상 매끄러움 파ameter $L$ 에 의존하지 않는다.
• 함수의 수렴 속도는 凸 조건에서 $h_k = c / (k+1)^{3/4}$ 를 사용하여 $\mathcal{O}(k^{-3/4})$ 수렴 속도를 달성한다. 이는 주어진 가정 하에서 최적이며.
• 기대 함수 값 간격은 $\mathbb{E}[f(x_k) - f^*] \leq \frac{\frac{1}{16c^2}E_0^C + c^2\sigma^2(1 + \log k)}{\sqrt{k}}$ 를 만족하며, 이는 $k^{-3/4}$ 수렴 속도를 증명하고 상수를 향상시킨다.
• 리아푸노프 함수 $E_k^C$ 는 알고리즘 하에서 기대값이 감소하고, 적분 비교를 통해 그 합이 유계로 제한되며, 이는 수렴 증명을 가능하게 한다.
• 강凸 조건에서의 속도 상수는 $L$ 에 대한 의존성을 제거함으로써 향상되었으며, 이는 이전 방법들에 비해 상당한 이점이다.
• 분석은 분산이 유한한 조건에서 리아푸노프 함수 방법을 확률적 경우로 확장하여, 가속된 SGD의 수렴 분석을 위한 견고한 프레임워크를 제공한다.