[논문 리뷰] On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization

Hao Yu, Rong Jin외 1명|arXiv (Cornell University)|2019. 05. 09.

Stochastic Gradient Optimization Techniques인용 수 147

한 줄 요약

논문은 병렬 재시작 SGD에 모멘텀을 결합하면 vanilla 분산 SGD와 같은 O(1/√(NT)) 수렴(선형 속도 증가)을 달성하면서 통신 라운드를 크게 줄인다는 것을 보인다. 완만한 가정 하에서.

ABSTRACT

Recent developments on large-scale distributed machine learning applications, e.g., deep neural networks, benefit enormously from the advances in distributed non-convex optimization techniques, e.g., distributed Stochastic Gradient Descent (SGD). A series of recent works study the linear speedup property of distributed SGD variants with reduced communication. The linear speedup property enable us to scale out the computing capability by adding more computing nodes into our system. The reduced communication complexity is desirable since communication overhead is often the performance bottleneck in distributed systems. Recently, momentum methods are more and more widely adopted in training machine learning models and can often converge faster and generalize better. For example, many practitioners use distributed SGD with momentum to train deep neural networks with big data. However, it remains unclear whether any distributed momentum SGD possesses the same linear speedup property as distributed SGD and has reduced communication complexity. This paper fills the gap by considering a distributed communication efficient momentum SGD method and proving its linear speedup property.

연구 동기 및 목표

• 분산 비볼록 최적화에서 모멘텀 SGD를 이용한 선형 속도 증가의 연구 동기를 제시한다.
• 모멘텀을 갖춘 병렬 재시작 SGD(PR-SGD-Momentum)를 분석하고 그 수렴성과 통신 효율성을 입증한다.
• 수렴 속도를 보존하면서 통신을 줄이는 방식으로 모멘텀을 통합하는 방법을 보여준다.
• Polyak의 모멘텀과 Nesterov의 모멘텀 등 모멘텀 변형을 비교하고 제안된 프레임워크 하에서 유사한 수렴 특성을 공유함을 입증한다.

제안 방법

• 가정 1의 매끄러움 및 분산의 상한과 이질성의 가정 하에서 문제(1)를 연구한다.
• Polyak의 모멘텀과 Nesterov의 모멘텀 두 가지 옵션을 가진 Parallel Restarted SGD with Momentum(알고리즘 1)을 제안한다.
• 그래디언트가 주기적으로 집계될 때 노드 평균화된 반복값 \bar{x}^{(t)}가 모멘텀 SGD 유사 동역학을 따른다를 보인다.
• 옵션 I(Polyak의 모멘텀)에 대한 수렴 상한을 도출하고 학습률 γ, 모멘텀 β, 동기화 간격 I에 대한 의존성을 보인다.
• 옵션 II(Nesterov의 모멘텀)에 대한 분석을 확장하고 유사한 속도 결과를 보인다.
• 두 가지 코릴러리 제공: (i) γ = √N/√T 및 I=1에서 선형 속도 증가, (ii) 동일 데이터에 대해 O(N^{3/2}T^{1/2}) 라운드의 통신 감소와 비동일 데이터에 대해 O(N^{3/4}T^{3/4}) 라운드의 통신 감소.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 모멘텀이 있는 분산 SGD가 모멘텀 없는 분산 SGD와 동일한 선형 속도 증가(O(1/√(NT)))를 달성할 수 있는가?
• RQ2 통신 간격 I가 수렴에 어떤 영향을 주며 속도 증가를 희생하지 않고 줄일 수 있는가?
• RQ3 제안된 프레임워크에서 Polyak의 모멘텀과 Nesterov의 모멘텀이 동일한 차수의 수렴을 보이는가?
• RQ4 모멘텀 기반 분산 학습에서 동일 데이터 시나리오와 비동일 데이터 시나리오의 통신 라운드 복잡성은 어떻게 되는가?
• RQ5 분산화된 통신이 선형 속도 증가 속성에 어떤 영향을 미치는가?

주요 결과

• PR-SGD-Momentum은 가정 1 하에서 적절한 γ 및 I와 함께 O(1/√(NT)) 수렴, 즉 선형 속도 증가를 달성한다.
• 동일 데이터(κ=0)일 때, T 반복은 선형 속도 증가를 유지하기 위해 O(N^{3/2}T^{1/2}) 통신 라운드가 필요하다.
• 비동일 데이터(κ>0)일 때, T 반복은 선형 속도 증가를 위해 O(N^{3/4}T^{3/4}) 통신 라운드가 필요하다.
• Polyak의 모멘텀과 Nesterov의 모멘텀은 상수 차수까지 같은 수렴 속도로 선형 속도 증가 특성을 공유한다.
• 탈중앙화된 통신(알고리즘 2) 역시 가정 1 및 2 하에서 선형 속도 증가를 달성하며, 적절한 γ 및 표준 혼합 조건(ρ)에서 O(1/√(NT))의 수렴을 보인다.
• ResNet-56과 CIFAR-10에 대한 실험은 더 빠른 수렴을 확인하고, 통신 누락 모멘텀 방법의 실용적 이점을 시연한다.