[논문 리뷰] On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization

Hao Yu, Rong Jin|arXiv (Cornell University)|2019. 05. 10.

Stochastic Gradient Optimization Techniques인용 수 31

한 줄 요약

이 논문은 비볼록 최적화를 위한 병렬 확률적 경사 하강법(SGD)에서 동적 배치 크기 스케줄링을 제안하며, 통신 라운드 수를 크게 줄이고 최적의 계산 복잡도를 달성한다. 폴리악-로자예프스키(Polyak-Lojasiewicz, P-L) 조건 하에서 기하급수적 증가 배치 크기로 $O(1/(NT))$ 수렴 속도를 달성하며, 통신 횟수는 $O(\log T)$로 제한된다. 일반적인 경우, Catalyst 유사 방법은 $O(\sqrt{NT}\log(T/N))$ 라운드로 $O(1/\sqrt{NT})$ 수렴 속도를 확보한다.

ABSTRACT

For SGD based distributed stochastic optimization, computation complexity, measured by the convergence rate in terms of the number of stochastic gradient calls, and communication complexity, measured by the number of inter-node communication rounds, are two most important performance metrics. The classical data-parallel implementation of SGD over $N$ workers can achieve linear speedup of its convergence rate but incurs an inter-node communication round at each batch. We study the benefit of using dynamically increasing batch sizes in parallel SGD for stochastic non-convex optimization by charactering the attained convergence rate and the required number of communication rounds. We show that for stochastic non-convex optimization under the P-L condition, the classical data-parallel SGD with exponentially increasing batch sizes can achieve the fastest known $O(1/(NT))$ convergence with linear speedup using only $\log(T)$ communication rounds. For general stochastic non-convex optimization, we propose a Catalyst-like algorithm to achieve the fastest known $O(1/\sqrt{NT})$ convergence with only $O(\sqrt{NT}\log(\frac{T}{N}))$ communication rounds.

연구 동기 및 목표

• 분산 비볼록 최적화에서 통신 오버헤드를 줄이면서도 빠른 수렴 속도를 유지하기 위해.
• 병렬 SGD에서 계산 복잡도(단일 함수 평가 호출 수)와 통신 복잡도(노드 간 라운드 수) 간의 상호 작용을 분석하기 위해.
• 최소한의 통신 횟수로 선형 속도 향상을 유지하는 동적 배치 크기 전략을 개발하기 위해.
• Catalyst 유사 프레임워크를 활용해 P-L 조건을 초월한 일반 비볼록 문제로 이론적 보장을 확장하기 위해.

제안 방법

• 기하급수적 증가 배치 크기를 적용한 병렬 SGD 변형인 알고리즘 1을 도입하여 통신 빈도를 감소시킨다.
• 배치 크기가 $B_\tau = B_1 \rho^\tau$ 로 증가하도록 동적 배치 크기 스케줄을 적용하여 분산과 수렴 간 균형을 이룬다.
• 일반적인 비볼록 문제에 대해, 변동성 감소와 동적 배치 처리를 적용한 Catalyst 유사 알고리즘을 제안하여 통신 효율성을 향상시킨다.
• 각 통신 라운드에서 $N$개의 워커 간 모델 평균화를 수행하며, 시간이 지남에 따라 배치 크기를 증가시켜 기울기 분산을 줄인다.
• 부드러움과 유한한 분산 조건 하에서 수렴을 분석하며, P-L 조건 하에서는 $O(1/(NT))$ 수렴 속도가 가능하다.
• Catalyst 유사 방법에서 통신 스킵 전략을 도입하여 통신 횟수를 $O(\sqrt{NT}\log(T/N))$로 감소시킨다.

실험 결과

연구 질문

• RQ1 병렬 SGD에서 동적 배치 크기 스케줄링이 크게 줄어든 통신 횟수로 최적의 계산 복잡도를 달성할 수 있는가?
• RQ2 P-L 조건 하에서 $O(1/(NT))$ 수렴 속도를 유지하기 위해 필요한 최소 통신 횟수는 얼마인가?
• RQ3 Catalyst 유사 프레임워크를 비볼록 최적화에 적응시켜 수렴 속도를 희생시키지 않고 통신 복잡도를 줄일 수 있는가?
• RQ4 기본 병렬 SGD와 로컬 SGD에 비해 제안된 방법은 통신 효율성과 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• P-L 조건 하에서 제안된 동적 배치 크기 방법은 오직 $O(\log T)$의 통신 획수로 $O(1/(NT))$ 수렴 속도를 달성하며, 최고의 알려진 계산 복잡도를 유지하면서 통신 횟수를 최소화한다.
• 일반적인 비볼록 문제에 대해 Catalyst 유사 알고리즘은 $O(\sqrt{NT}\log(T/N))$ 통신 획수로 $O(1/\sqrt{NT})$ 수렴 속도를 확보하며, 기존 병렬 SGD보다 향상된다.
• 분산 로지스틱 회귀에서의 수치 실험 결과, 제안된 방법은 전통적 병렬 SGD와 동일한 수렴 성능을 보였지만, 훨씬 적은 통신 획수를 사용한다.
• CIFAR-10에서 ResNet20을 사용한 딥러닝 실험에서, 제안된 방법은 전통적 병렬 SGD와 유사한 테스트 정확도를 유지하면서도 통신 주기를 현저히 줄였다.
• 동적 배치 크기 전략은 최소한의 조율으로 선형 속도 향상을 가능하게 하여 대규모 분산 학습에 적합하다.
• 이론적 분석을 통해 표준 가정 조건인 부드러움, 비편향 기울기, 유한한 분산 하에서 수렴 보장이 유지됨을 확인했다.