[논문 리뷰] A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates

Yossi Arjevani, Ohad Shamir외 1명|arXiv (Cornell University)|2018. 06. 26.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 이차 함수에서 지연 업데이트를 가진 확률적 경사 하강법(SGD)에 대해 유한 시간 수렴 분석을 제공하며, 수렴에서 스위치 노이즈가 지연의 영향을 거의 무시할 수 있게 한다는 것을 보여준다. 반면 결정론적 지연 GD는 지연과 함께 선형으로 성능이 열화된다. 주요 기여는 생성 함수 기반 기법을 도입하여 정밀한 경계를 도출함으로써 지연 영향을 완화시키는 데서 노이즈의 핵심적 역할을 드러내는 것이다.

ABSTRACT

We provide tight finite-time convergence bounds for gradient descent and stochastic gradient descent on quadratic functions, when the gradients are delayed and reflect iterates from $τ$ rounds ago. First, we show that without stochastic noise, delays strongly affect the attainable optimization error: In fact, the error can be as bad as non-delayed gradient descent ran on only $1/τ$ of the gradients. In sharp contrast, we quantify how stochastic noise makes the effect of delays negligible, improving on previous work which only showed this phenomenon asymptotically or for much smaller delays. Also, in the context of distributed optimization, the results indicate that the performance of gradient descent with delays is competitive with synchronous approaches such as mini-batching. Our results are based on a novel technique for analyzing convergence of optimization algorithms using generating functions.

연구 동기 및 목표

• 고정된 지연 τ를 가진 확률적 경사 하강법의 유한 시간 수렴 경계를 제공하는 것.
• 결정론적 및 확률적 환경에서 지연이 최적화 오차에 미치는 영향을 명확히 하는 것.
• 확률적 노이즈가 지연의 부정적 영향을 크게 감소시켜 그 영향을 점근적으로 무시할 수 있게 한다는 것을 보여주는 것.
• 반복 최적화 알고리즘의 수렴 분석을 위한 생성 함수 기반 신규 분석 프레임워크를 개발하는 것.
• 지연된 SGD가 분산 환경에서 미니배치와 같은 동기화 방법과 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 저자들은 오차 역학의 형식적 멱급수 표현을 사용하여 지연된 SGD를 모델링하고, 오차 수열에 대한 생성 함수를 유도한다.
• 생성 함수 내의 행렬다항식의 역행렬을 통한 오차 전파 분석을 통해 지연 업데이트 효과를 포착한다.
• 각 반복에서의 기대 오차를 경계하기 위해 생성 함수의 계수를 추출하는 방법을 사용한다.
• 핵심 단계는 초기 조건과 확률적 노이즈에 기인한 오차 성분으로 나누는 것으로, 선형성과 독립성 가정을 활용한다.
• 생성 함수의 계수 행렬의 스펙트럼 노름에 대한 경계를 활용하여 수렴 속도를 유도한다.
• 이 방법은 특히 확률적 노이즈 하에서 일시적 오차와 정착 상태 오차 성분을 정밀하게 제어할 수 있다.

실험 결과

연구 질문

• RQ1 이차 함수에서 고정된 지연 τ가 결정론적 경사 하강법의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 지연 업데이트를 가진 확률적 경사 하강법의 유한 시간 수렴 행동은 어떠한가? 노이즈는 지연의 영향을 어떻게 변화시키는가?
• RQ3 지연 효과를 정량적으로 경계할 수 있는가? 어떤 조건에서 그 영향이 무시할 만큼 작아지는가?
• RQ4 지연된 SGD의 반복 복잡도는 τ와 문제의 조건수에 대해 표준 비지연 SGD와 비교해 어떻게 되는가?
• RQ5 생성 함수 기반 방법은 이전 접근 방식보다 지연 최적화 알고리즘에 대해 더 정밀한 수렴 경계를 제공할 수 있는가?

주요 결과

• μ-스무쓰하고 λ-강력 볼록인 이차 함수에서 결정론적 지연 경사 하강법의 경우, 수렴 속도는 τ에 대해 선형으로 열화되며, 반복 복잡도는 O(τ·κ·log(1/ε))이다.
• 볼록 케이스에서는 반복 복잡도가 O(τ·μ‖w₀−w*‖²/ε)로 τ에 대해 선형 의존성을 보이며.
• 확률적 지연 GD의 경우, k ≥ (τ+1)ln(2(τ+1))일 때부터 τ의 영향은 거의 무시할 수 있게 된다. 이는 노이즈의 평균화 효과 때문이다.
• 강력 볼록 케이스에서 기대 오차는 Õ(σ²/(λk) + μ‖w₀−w*‖²exp(−λk/(10μτ)))로 경계되며, τ는 오직 지수항에서만 영향을 미친다.
• 볼록 케이스에서는 오차 경계가 Õ(‖w₀−w*‖σ/√k + μ‖w₀−w*‖²τ/k)로 표현되며, τ는 오직 두 번째 항에서만 나타난다.
• 분석 결과, 확률적 노이즈가 지연의 부정적 영향을 효과적으로 상쇄시켜 이전의 점근적 결과를 초월함을 드러낸다.