[논문 리뷰] Communication trade-offs for synchronized distributed SGD with large step size

Kumar Kshitij Patel, Aymeric Dieuleveut|arXiv (Cornell University)|2019. 04. 25.

Stochastic Gradient Optimization Techniques참고 문헌 91인용 수 18

한 줄 요약

이 논문은 분산 SGD에서 큰 스텝 사이즈(스케일링이 $t^{-\alpha}$, $\alpha \in (1/2,1)$)를 가진 로컬-SGD에 대해 최초로 비점근적 오차 분석을 제공하며, 수렴 성능을 훼손하지 않고도 통신 빈도를 $O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 만큼 줄일 수 있음을 보여준다. 이는 통신 효율성에서 하나의 스텝 평균화와 미니배치 평균화를 모두 능가하며, 최적의 성능를 유지한다.

ABSTRACT

Synchronous mini-batch SGD is state-of-the-art for large-scale distributed machine learning. However, in practice, its convergence is bottlenecked by slow communication rounds between worker nodes. A natural solution to reduce communication is to use the \emph{`local-SGD'} model in which the workers train their model independently and synchronize every once in a while. This algorithm improves the computation-communication trade-off but its convergence is not understood very well. We propose a non-asymptotic error analysis, which enables comparison to \emph{one-shot averaging} i.e., a single communication round among independent workers, and \emph{mini-batch averaging} i.e., communicating at every step. We also provide adaptive lower bounds on the communication frequency for large step-sizes ($ t^{-α} $, $ α\in (1/2 , 1 ) $) and show that \emph{Local-SGD} reduces communication by a factor of $O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$, with $T$ the total number of gradients and $P$ machines.

연구 동기 및 목표

• 동기 분산 SGD의 통신 병목 현상을 해결하기 위해 통신-정확도 트레이드오프를 분석하는 것.
• 실제로 널리 쓰이는 큰 스텝 사이즈($t^{-\alpha}$, $\alpha \in (1/2,1)$)를 가진 로컬-SGD에 대해 비점근적 오차 분석을 제공하는 것.
• 로컬-SGD가 미니배치 평균화 성능을 따라잡기 위해 필요한 최소 통신 빈도를 정량화하는 것.
• 실제로 관찰된 바와 같이 최적 해와의 거리에 따라 의존하는 적응형 통신 전략을 도출하는 것.
• 유한한 수평기 및 큰 스텝 사이즈 환경에서 하나의 스텝 평균화와 미니배치 평균화의 편향-분산 트레이드오프를 비교하는 것.

제안 방법

• 부드럽고 강하게 볼록한 조건 하에서, 온라인 및 유한 수평기 설정을 모두 고려한 로컬-SGD에 대한 비점근적 오차 분석을 제안한다.
• 큰 스텝 사이즈에 대해 통신 빈도의 적응형 하한을 유도하며, 총 $T$개의 그래디언트와 $P$명의 워커를 고려할 때 통신 주기를 $O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 만큼 줄일 수 있음을 보여준다.
• 하나의 스텝 평균화와 미니배치 평균화의 편향-분산 분해를 분석하여, 큰 스텝 사이즈 조건에서의 수렴 행동을 비교한다.
• 확률적 과정 분석과 리아푸노프 유형의 추론을 사용하여 최적 해와의 기대 제곱 오차를 제어한다.
• 로컬-SGD가 희소한 통신 조건에서도 미니배치 SGD의 수렴 속도를 따라잡을 수 있는 조건을 확립한다.
• 이론적 결과를 실험적으로 검증하여, 로컬-SGD, 하나의 스텝, 미니배치 변형의 행동을 설명한다.

실험 결과

연구 질문

• RQ1 로컬-SGD가 큰 스텝 사이즈를 사용할 때, 미니배치 SGD와 수렴 성능이 유사해지기 위해 필요한 최소 통신 빈도는 얼마인가?
• RQ2 큰 스텝 사이즈를 사용할 경우, 하나의 스텝 평균화와 미니배치 평균화의 편향과 분산 측면에서 성능는 어떻게 비교되는가?
• RQ3 로컬-SGD에서 수렴 성능이 저하되지 않도록 통신 주기를 $O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 만큼 줄일 수 있으며, 그 조건은 무엇인가?
• RQ4 실제로 관찰된 바와 같이, 필요한 통신 빈도가 최적 해와의 거리에 따라 적응적으로 변하는가?
• RQ5 로컬-SGD가 큰 스텝 사이즈를 사용할 때 최적의 수렴 속도를 달성하기 위한 가정은 무엇인가?

주요 결과

• 총 $T$개의 그래디언트와 $P$명의 워커를 고려할 때, 로컬-SGD의 통신 빈도는 미니배치 SGD 대비 $O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 만큼 줄일 수 있으며, 이로 인해 최적의 수렴 성능를 유지할 수 있다.
• 미니배치 평균화는 하나의 스텝 평균화보다 편향-분산 트레이드오프 측면에서 성능가 뛰어나며, 기계 수와 그래디언트 수가 동시에 증가할 때조차도 그렇다. 이는 고정된 $P$에 대해 점근적으로 동일한 결과를 낸다.
• 이론 분석은 최적 점과의 기대 거리에 따라 의존하는 통신 빈도의 적응형 하한을 제공하며, Zhang 등(2016)의 실증 관찰과 일치한다.
• 로컬-SGD는 유도된 통신 주기로 통신을 스케줄링할 경우, 큰 스텝 사이즈($t^{-\alpha}$, $\alpha \in (1/2,1)$) 조건에서도 미니배치 SGD와 유사한 최적의 수렴 속도를 달성한다.
• 이론적 프레임워크는 부드럽고 강하게 볼록한 조건 하에서 표준 머신러닝 문제(예: 최소제곱 회귀, 로지스틱 회귀)에 적용 가능하다.
• 실험 결과는 이론적 발견을 지지하며, 분산 SGD에서 통신, 계산, 수렴 간의 상호 관계를 설명한다.