[논문 리뷰] Slow and Stale Gradients Can Win the Race: Error-Runtime Trade-offs in Distributed SGD

Sanghamitra Dutta, Gauri Joshi외 3명|arXiv (Cornell University)|2018. 03. 03.

Distributed and Parallel Computing Systems인용 수 94

한 줄 요약

본 논문은 무작위 지연(straggler)으로 인한 오류-실행시간 트레이드오프를 분석하고, 그래디언트 스태일니스 문제를 보상하기 위한 학습률 스케줄을 제안하며, 한정된 지연 가정 없이 런타임을 평가한다.

ABSTRACT

Distributed Stochastic Gradient Descent (SGD) when run in a synchronous manner, suffers from delays in waiting for the slowest learners (stragglers). Asynchronous methods can alleviate stragglers, but cause gradient staleness that can adversely affect convergence. In this work we present a novel theoretical characterization of the speed-up offered by asynchronous methods by analyzing the trade-off between the error in the trained model and the actual training runtime (wallclock time). The novelty in our work is that our runtime analysis considers random straggler delays, which helps us design and compare distributed SGD algorithms that strike a balance between stragglers and staleness. We also present a new convergence analysis of asynchronous SGD variants without bounded or exponential delay assumptions, and a novel learning rate schedule to compensate for gradient staleness.

연구 동기 및 목표

• 분산 SGD에서 straggler와 그래디언트 스태일니스 문제를 다루어 연구 의의를 제시한다.
• 일회당 wallclock 런타임을 일반 분포를 갖는 확률 변수로 모델링한다.
• 경계된 지연 가정 없이 비동기 SGD 변형에 대한 수렴 분석을 제공한다.
• 그래디언트 스태일니스 보상을 위한 새로운 학습률 스케줄을 제안하고 안정성 향상을 모색한다.

제안 방법

• P개의 학습자와 i.i.d. per-mini-batch 런타임 X_i를 가진 중앙 파라미터 서버 모델을 정의한다.
• SGD 변형(K-sync, K-batch-sync, K-async, K-batch-async)을 특징짓고 비교한다.
• 순서 통계와 갱신 이론을 사용하여 이터레이션당 기대 런타임을 분석한다.
• 제한된 지연 가정이 없는 완화된 가정하에서 Async 및 K-async SGD에 대한 수렴 분석을 제공한다 (제한된 지연 없음, 지수적 런타임 없음).
• 그래디언트 스태일니스에 적응하도록 가변 학습률 스케줄을 도입하고 그 안정성 속성을 입증한다.

실험 결과

연구 질문

• RQ1 일반적이고 확률적 런타임하에서 동기식과 비동기식 SGD 변형 간 이터레이션당 예상 wallclock 런타임은 어떻게 비교되는가?
• RQ2 Async 및 K-async SGD에서 그래디언트 스태일니스가 수렴에 미치는 영향은 무엇이며, 학습률 스케줄이 이를 어떻게 완화할 수 있는가?
• RQ3 완화된 가정(제한된 지연 없음, 일반 분포)에서 비동기 SGD 변형의 수렴 보장은 무엇인가?
• RQ4 실제 및 이론적으로 K-batch-async가 K-async나 K-sync보다 더 나은 오차-실행시간 트레이드오프를 제공할 수 있는가?
• RQ5 wallclock 효율성 측면에서 비동기 방식이 동기 방식보다 성능이 우수해지는 환경은 어떤 경우인가?

주요 결과

• 비동기 SGD는 동기 SGD보다 더 빠른 wallclock 진행을 보일 수 있으며, 속도 상승은 지연 분포에 따라 달라지는 인자와 P의 곱으로 특징지어진다.
• K-batch-async 및 K-batch-sync 변형은 아이들 타임(idle time)을 줄여 런타임 효율성을 개선하되 수렴 동작을 크게 희생하지 않는다.
• 지수 런타임의 경우, 동기와 비동기의 런타임 속도 향상은 대략 P log P로 스케일링되며, 다수의 학습기가 있을 때 상당한 이점을 시사한다.
• 일반 스태일니스 한계에서의 K-async SGD에 대한 새로운 수렴 상한은 오류가 (1 - eta c (1 - gamma + p0/2))에 의존하는 속도로 감소함을 보인다.
• 그래디언트 스태일니스에 따라 스케일링되는 가변 학습률 스케줄은 비동기 SGD를 안정화시키고 실제로 고정 학습률 접근법보다 우수할 수 있다.