[논문 리뷰] On Almost Sure Convergence Rates of Stochastic Gradient Methods

Jun Liu, Ye Yuan|arXiv (Cornell University)|2022. 02. 09.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법(SGD), 확률적 무거운 공(method, SHB), 그리고 확률적 네스테로프 가속 경사 하강법(SNAG)에 대한 통합된 거의 확실 수렴 속도 분석을 제공한다. 강凸 함수에 대해선 거의 확실 수렴 속도가 최적에 임의로 가까운 것으로 밝혀졌으며, 비凸 함수에 대해서는 마지막 반복자와 제곱 그래디언트 노름의 가중 평균의 거의 확실 수렴을 증명하였고, 일반적인 凸 함수에 대해서는 이전에 알려지지 않은 마지막 반복자에 대한 거의 확실 수렴 속도를 유도하였다. 이 속도는 아직 최적은 아니다.

ABSTRACT

The vast majority of convergence rates analysis for stochastic gradient methods in the literature focus on convergence in expectation, whereas trajectory-wise almost sure convergence is clearly important to ensure that any instantiation of the stochastic algorithms would converge with probability one. Here we provide a unified almost sure convergence rates analysis for stochastic gradient descent (SGD), stochastic heavy-ball (SHB), and stochastic Nesterov's accelerated gradient (SNAG) methods. We show, for the first time, that the almost sure convergence rates obtained for these stochastic gradient methods on strongly convex functions, are arbitrarily close to their optimal convergence rates possible. For non-convex objective functions, we not only show that a weighted average of the squared gradient norms converges to zero almost surely, but also the last iterates of the algorithms. We further provide last-iterate almost sure convergence rates analysis for stochastic gradient methods on weakly convex smooth functions, in contrast with most existing results in the literature that only provide convergence in expectation for a weighted average of the iterates.

연구 동기 및 목표

• 비凸 및 강凸 설정에서 확률적 무거운 공(SHB) 및 확률적 네스테로프 가속 경사 하강법(SNAG)에 대한 거의 확실 수렴 속도 분석의 부족을 해결하기 위해.
• SGD, SHB, SNAG에 대한 거의 확실 수렴 속도 분석을 위한 통합된 이론적 프레임워크를 제공하기 위해.
• 일반적인 凸 함수에 대해 마지막 반복자에 대한 거의 확실 수렴 속도를 확립하기 위해, 이는 이전 문헌에서 채워지지 않은 격차이다.
• 강凸 함수에 대해 거의 확실 수렴 조건 하에서 최적일 수 있는 수렴 속도에 매우 가까운 속도를 확보하기 위해.

제안 방법

• 마르팅게일 수렴 및 거의 확실 수렴 정리에 기반한 통합 분석 프레임워크를 사용하여 SGD, SHB, SNAG를 분석한다.
• 마르팅게일에 대한 대수법칙과 L² 유계성 조건을 적용하여 그래디언트 관련 항목의 거의 확실 수렴을 증명한다.
• 마지막 반복자 수렴 속도를 유도하기 위해 $\alpha_t = \Theta(1/t^{2/3 + \varepsilon})$ 형태의 단계 크기 규칙을 적용한다. 여기서 $\varepsilon \in (0, 1/3)$이다.
• $\sum \|v_t}\|^2$ 및 $\sum \alpha_t w_t$의 유계성을 활용하여 그래디언트와 반복자의 거의 확실 수렴을 보여준다.
• 확률적 그래디언트를 편향과 분산 항으로 분해: $\alpha_t w_t = \alpha_t(g_t - \nabla f(x_t)) + \alpha_t(\nabla f(x_t) - \nabla f(z_t))$이며, 각 성분의 거의 확실 수렴을 증명한다.
• Lemma 4.1을 $b_t = \|\nabla f(z_t)\|$ 및 $p=2$로 적용하여 $\nabla f(z_t) \to 0$ 거의 확실하게 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 강凸 함수에 대해 SHB와 SNAG의 거의 확실 수렴 속도를 확립할 수 있으며, 이는 최적 속도에 얼마나 가까운가?
• RQ2 비凸 매끄러운 함수에 대해 SHB와 SNAG의 마지막 반복자가 거의 확실하게 수렴하는가? 그리고 그래디언트 노름의 수렴 속도는 무엇인가?
• RQ3 일반적인 凸 함수에 대해 SGD, SHB, SNAG의 마지막 반복자에 대한 거의 확실 수렴 속도를 도출할 수 있으며, 이는 기존의 기대 기반 속도와 비교해 어떻게 되는가?
• RQ4 강凸 경우에서 이들 방법의 거의 확실 수렴 속도를 최적 속도에 임의로 가까이 만들 수 있는가?
• RQ5 일반적인 凸 경우에서 마지막 반복자의 가장 날카로운 가능한 거의 확실 수렴 속도는 무엇이며, $O(1/t^{1/3 - \varepsilon})$를 초월해 향상시킬 수 있는가?

주요 결과

• 강凸 함수에 대해 SGD, SHB, SNAG의 거의 확실 수렴 속도는 가능한 최적 수렴 속도에 임의로 가까운 것으로 밝혀졌다.
• 비凸 매끄러운 함수에 대해 제곱 그래디언트 노름의 가중 평균이 거의 확실하게 0으로 수렴하며, SHB와 SNAG의 마지막 반복자도 거의 확실하게 최소화자로 수렴한다.
• 일반적인 凸 함수에 대해 본 논문은 SGD, SHB, SNAG에 대해 최초로 마지막 반복자에 대한 거의 확실 수렴 속도 $O(1/t^{1/3 - \varepsilon})$를 확립하였다.
• 일반적인 凸 함수에 대해 수렴 속도 $O(1/t^{1/3 - \varepsilon})$는 아직 최적이 아니며, 기대 기반 수렴의 하한선보다 더 날카롭지 않다.
• 분석 결과 $\sum \|v_t\|^2 < \infty$ 거의 확실하게 성립하며, 이는 $v_t \to 0$ 거의 확실하게 수렴함을 의미하고, $\nabla f(x_t) \to 0$ 거의 확실하게 수렴함을 의미한다.
• 증명 기법은 확률적 그래디언트 오차를 마르팅게일 차수와 편향 항으로 분해하며, 선택된 단계 크기 규칙 하에 두 성분 모두 거의 확실하게 수렴함을 보여준다.