[논문 리뷰] Unified Optimal Analysis of the (Stochastic) Gradient Method

Sebastian U. Stich|arXiv (Cornell University)|2019. 07. 09.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 55

한 줄 요약

논문은 mu-볼록 함수에서 SGD의 간단하고 통합된 수렴 분석을 제시하며 (L, sigma)-스무스성 조건하에서 지수적 속도와 확률적 항을 달성하고 보간(interpolation)에서 GD/SGD의 알려진 속도를 회복한다.

ABSTRACT

In this note we give a simple proof for the convergence of stochastic gradient (SGD) methods on $μ$-convex functions under a (milder than standard) $L$-smoothness assumption. We show that for carefully chosen stepsizes SGD converges after $T$ iterations as $O\left( LR^2 \exp \bigl[-\fracμ{4L}T\bigr] + \frac{σ^2}{μT} ight)$ where $σ^2$ measures the variance in the stochastic noise. For deterministic gradient descent (GD) and SGD in the interpolation setting we have $σ^2 =0$ and we recover the exponential convergence rate. The bound matches with the best known iteration complexity of GD and SGD, up to constants.

연구 동기 및 목표

• SGD를 위한 더 온화하지만 실용적인 (L, sigma)-스무스니스 가정의 필요성을 제기한다.
• 결정론적 GD와 SGD를 모두 포괄하는 간단하고 통합된 수렴 증명을 제공한다.
• mu-볼록성 하에서 함수 서브최적성(f(x)-f*) 및 최적점에 대한 마지막 반복 거리의 최적 또는 거의 최적 속도를 보여준다.
• 해석이 결정론적/보간(interpolation) 설정에서 지수적 수렴을 회복함을 보여준다.
• 확률적 오차 항의 빠른 감소를 달성하는 평균화 방식에 대한 통찰을 제시한다.

제안 방법

• (L, sigma)-스무스성과 mu-볼록성 하에서 편향되지 않은 gradient 오라클을 사용하는 SGD를 분석한다.
• 학습률 제약 gamma_t <= 1/(2L)를 이용해 최적해까지의 기대 제곱 거리와 서브최적성 f(x_t) - f*에 대한 재귀식을 도출한다.
• Obtain a bound showing E[f(x̄_T) - f* + mu E||x_{T+1}-x*||^2] = O( L R^2 exp(-mu T/(4L)) + sigma^2/(mu T) ).
• 최적화와 분산 감소의 균형을 맞추기 위한 두 단계 평균화 스킴을 도입한다.
• 상수 및 감소하는 학습률이 보완적인 수렴 보장을 제공하는 방식을 보인다.
• 재귀식을 기존 결과와 연결하여 GD와 SGD의 알려진 속도(보간 포함)를 회복한다.

실험 결과

연구 질문

• RQ1 mu-볼록성과 (L, sigma)-스무스성 조건하에서 SGD에 대해 어떤 수렴 속도가 보장될 수 있는가?
• RQ2 간단하고 단일화된 증명이 결정론적/보간에서의 지수적 속도와 함수 값 및 마지막 반복 거리의 확률적 속도를 모두 회복할 수 있는가?
• RQ3 최적화 오차와 확률적 분산 간의 트레이드오프를 최적화하기 위해 학습률과 평균화를 어떻게 선택해야 하는가?
• RQ4 경계된 기울기 가정 없이도 보편적인 SGD 설정(보간 및 일반적인 확률적 그래디언트)을 포함해 결과가 확장되는가?

주요 결과

• 적절히 선택된 학습률의 SGD에서 기대 함수 서브최적성에 mu 가중치를 둔 마지막 반복 거리의 합이 O(L R^2 exp(-mu T/(4L)) + sigma^2/(mu T))로 수렴한다.
• 보간 설정(sigma^2 = 0)에서 이 경계는 함수 값과 마지막 반복 거리의 지수적 수렴을 상수까지 보장한다.
• 주어진 가정하에 GD와 SGD의 최적 또는 잘 알려진 반복 복잡도를 상수 차이로 회복한다.
• 초기의 비평균화 단계와 이후 접미 평균화를 포함한 두 단계 평균화 스킴은 최적의 확률적 항 속도를 달성하되 최적화 항의 손실을 해치지 않는다.
• 이 프레임워크는 매끄러운 함수에 대한 경사하강법과 SGD의 분석을 하나로 통합하며 경사 경계 가정에 의존하지 않는다.