[논문 리뷰] Minibatch vs Local SGD for Heterogeneous Distributed Learning

Blake Woodworth, Kumar Kshitij Patel외 1명|arXiv (Cornell University)|2020. 06. 08.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 45

한 줄 요약

이 논문은 이질적인 분산 데이터 및 제한된 통신 하에서 Local SGD와 Minibatch SGD를 분석하고, 일반적으로 Minibatch SGD가 Local SGD를 지배하며, 가속된 Minibatch SGD가 높은 이질성에서 최적이고 Local SGD는 거의 동질적 환경에서만 개선될 수 있음을 시사한다.

ABSTRACT

We analyze Local SGD (aka parallel or federated SGD) and Minibatch SGD in the heterogeneous distributed setting, where each machine has access to stochastic gradient estimates for a different, machine-specific, convex objective; the goal is to optimize w.r.t. the average objective; and machines can only communicate intermittently. We argue that, (i) Minibatch SGD (even without acceleration) dominates all existing analysis of Local SGD in this setting, (ii) accelerated Minibatch SGD is optimal when the heterogeneity is high, and (iii) present the first upper bound for Local SGD that improves over Minibatch SGD in a non-homogeneous regime.

연구 동기 및 목표

• 제한된 통신으로 이질적인 머신들에 데이터가 분할된 상황에서 분산 학습의 필요성을 제시한다.
• 이질적 설정에서 Minibatch SGD와 Local SGD의 수렴 보장을 비교한다.
• Local SGD가 Minibatch SGD를 능가할 수 있는지 또는 능가할 수 없는지의 영역을 규명한다.
• 가속이 도움이 되는 경우와 그렇지 않은 경우를 보여주는 정밀한 분석을 제공한다.
• 이질성에 대해 새로운 방법이 필요할 수 있는 영역을 식별한다.

제안 방법

• M대의 기계와 로컬 목적함수 F_m 및 평균 목적함수 F를 갖는 이질적 분산 최적화 설정을 정의한다.
• Minibatch SGD 기울기의 편향 없음 여부와 분산을 분석하고 이질성 지표 zeta_*에 독립적인 수렴 경계를 도출한다.
• 가속된 Minibatch SGD 경계를 제공하고, 볼록성/강볼록성 가정하에서 표준 Minibatch SGD와 일치하거나 개선됨을 보인다.
• 이질적 설정에서의 기존 Local SGD 분석을 제시하고 한계를 보여주는 하한을 도출한다.
• 근사-동질적 영역에서 Local SGD의 개선을 복원하기 위해 정제된 이질성 지표 bar(zeta)^2를 도입한다.
• Minibatch와 Local SGD 사이를 보간하는 이중 스텝사이즈 프레임워크(inner/outer step sizes)를 제시하고, 최적 선택 시 개선된 보장을 제공한다.

실험 결과

연구 질문

• RQ1 제한된 통신 하에서 이질적 분산 학습에서 Local SGD가 Minibatch SGD를 능가하는가?
• RQ2 이질성(zeta_* 및 bar(zeta))이 Local SGD와 Minibatch SGD의 상대 성능에 어떤 영향을 미치는가?
• RQ3 매우 이질적인 환경에서 가속된 Minibatch SGD가 최적인가?
• RQ4 거의 동질적 영역에서 Local SGD가 Minibatch SGD보다 개선될 수 있는 조건은 무엇인가(가능하다면)?
• RQ5 내부/외부 스텝사이즈를 통한 보간이 두 방법 사이의 차이를 줄일 수 있는가?
• RQ6 이 설정에서 분산 제로-리스펙팅 알고리즘에 대한 기본적인 하한은 무엇인가?

주요 결과

• Minibatch SGD와 가속 Minibatch SGD는 이질성 지표 zeta_*에 독립적인 수렴 경계에 도달하여 데이터 이질성에 면역이다.
• 이질적 설정에서 기존의 Local-SGD 분석은 매우 근접한 동질성 영역을 제외하고는 Minibatch SGD를 이길 수 없으며, 이질성이 충분히 큰 경우 Local SGD는 확실히 더 떨어진다.
• 정제된 이질성 지표 bar(zeta)^2가 근접 동질적 시나리오에서 Local SGD가 Minibatch SGD를 능가하도록 가능하게 하며, 이러한 결과 중 첫 번째를 나타낸다.
• 적당히 높은 이질성에서 가속 Minibatch SGD가 최적이며, 많은 구간에서 Local SGD의 개선은 하한에 의해 차단된다.
• 분산 제로-리스펙팅 알고리즘의 하한은 대규모 이질성에 대해 가속 Minibatch SGD가 최적임을 보이며, bar(zeta)^2가 작을 때만 개선 가능성이 있으며, 중간 이질성 수준에서는 명확한 격차가 남아 있다.