[논문 리뷰] Handbook of Convergence Theorems for (Stochastic) Gradient Methods

Guillaume Garrigos, Robert M. Gower|arXiv (Cornell University)|2023. 01. 26.

Stochastic Gradient Optimization Techniques인용 수 18

한 줄 요약

그 핸드북은 경사법과 확률적 경사법의 수렴 및 속도에 대한 간단하고 재현 가능한 증명을, convex, 강결합, Polyak-Łojasiewicz, 매끄럽고 비매끄러운 설정에서, 미니배치 및 모멘텀 변형을 포함하여 수록하고 있습니다.

ABSTRACT

This is a handbook of simple proofs of the convergence of gradient and stochastic gradient descent type methods. We consider functions that are Lipschitz, smooth, convex, strongly convex, and/or Polyak-Łojasiewicz functions. Our focus is on ``good proofs'' that are also simple. Each section can be consulted separately. We start with proofs of gradient descent, then on stochastic variants, including minibatching and momentum. Then move on to nonsmooth problems with the subgradient method, the proximal gradient descent and their stochastic variants. Our focus is on global convergence rates and complexity rates. Some slightly less common proofs found here include that of SGD (Stochastic gradient descent) with a proximal step, with momentum, and with mini-batching without replacement.

연구 동기 및 목표

• 경사법과 확률적 경사법의 수렴에 대해 일반적인 함수 클래스(볼록, 강볼록, PL, 매끄럽고 비매끄러운)에서 접근 가능하고 고수준의 증명을 제공한다.
• 알려진 증명을 수집하고 간단하고 재현 가능한 주장으로 정리하여 글로벌 및 복잡도 속도를 산출한다.
• 경사 하강법(Gradient Descent), 확률적 경사 하강법(SGD), 미니배치 SGD, 확률적 모멘텀, 근사(프로시말) 변형, 및 이들의 비매끄러운 확장들을 다룬다.
• 이들 증명을 섹션별로 적용하는 방법에 대해 전체 문서를 선형으로 읽지 않아도 되도록 안내를 제공한다.

제안 방법

• 볼록, 강볼록, 및 Polyak-Łojasiewicz(PL) 조건하에서의 Gradient Descent(GD)에 대한 증명을 제시한다.
• 확률적 변형으로 확장한다: SGD, 미니배치 SGD, 및 확률적 모멘텀.
• 부분그라디언트 방법, 근사 기울기(프로시말) 방법, 그리고 확률적 근사 프로시말 변형으로 비매끄러운 경우를 다룬다.
• 수렴 및 복잡도 속도(예: 볼록의 경우 O(1/t), 강볼록의 경우 선형, PL 기반 경계)를 개발하고 적용한다.
• 증명을 뒷받침하기 위한 미분가능성, 볼록성, 매끄러움 및 강제성(coercivity)에 관한 보조 보조정리를 제공한다.

실험 결과

연구 질문

• RQ1 GD 및 그 확률적 변형에 대한 볼록성, 강볼록성 및 PL 가정 하의 전역 수렴 보장 및 속도는 무엇인가?
• RQ2 미니배칭 및 모멘텀이 SGD 및 그 변형의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 결정론적 및 확률적 설정 모두에서 비매끄러운 문제를 부분그라디언트와 근사 방법을 사용해 해결할 때의 복잡도 영향은 무엇인가?

주요 결과

• GD는 볼록하고 매끄러운 함수에 대해 적절한 스텝 크기일 때 f(x^t) - inf f ≤ O(1/t)의 초정규 수렴을 달성한다.
• 강볼록하고 매끄러운 함수에서 GD는 선형 수렴을 보이며, 속도는 조건수(1 − μ/L)에 따라 달라진다.
• PL-조건과 매끄러움은 특정 비볼록 문제의 경우에도 강볼록성에 유사한 수렴 보장을 제공한다.
• 확률적 변형들(SGD, 미니배치 SGD, 모멘텀)은 동일한 함수 클래스 가정하에서 해당하는 수렴 결과와 복잡도 경계를 가진다.
• 비매끄러운 설정(부분그라디언트, 근사, 확률적 근사)은 유사한 수렴 보장 및 복잡도 결과로 다룬다.
• 핸드북은 수렴 증명을 정리하고 간소화하여 다양한 그래디언트 기반 방법에 대한 참조용 도출들을 제공한다.