[논문 리뷰] Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning

Hao Yu, Sen Yang외 1명|arXiv (Cornell University)|2018. 07. 17.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 분산 딥 러닝에서 모델 앙상블이 빠른 수렴과 낮은 통신량을 달성하는 이유를 설명하기 위해 Parallel Restarted SGD를 이론적 프레임워크로 제안한다. 작업자 간에 모델을 주기적으로 평균화하고 SGD를 재시작함으로써, 병렬 미니배치 SGD와 동일한 O(1/√(NT)) 수렴 속도를 달성하면서도 통신 라운드 수를 O(T^{1/4}) 감소시킨다. 이는 비볼록 최적화에서 희소한 평균화가 효과적이고 효율적임을 보여준다.

ABSTRACT

In distributed training of deep neural networks, parallel mini-batch SGD is widely used to speed up the training process by using multiple workers. It uses multiple workers to sample local stochastic gradient in parallel, aggregates all gradients in a single server to obtain the average, and update each worker's local model using a SGD update with the averaged gradient. Ideally, parallel mini-batch SGD can achieve a linear speed-up of the training time (with respect to the number of workers) compared with SGD over a single worker. However, such linear scalability in practice is significantly limited by the growing demand for gradient communication as more workers are involved. Model averaging, which periodically averages individual models trained over parallel workers, is another common practice used for distributed training of deep neural networks since (Zinkevich et al. 2010) (McDonald, Hall, and Mann 2010). Compared with parallel mini-batch SGD, the communication overhead of model averaging is significantly reduced. Impressively, tremendous experimental works have verified that model averaging can still achieve a good speed-up of the training time as long as the averaging interval is carefully controlled. However, it remains a mystery in theory why such a simple heuristic works so well. This paper provides a thorough and rigorous theoretical study on why model averaging can work as well as parallel mini-batch SGD with significantly less communication overhead.

연구 동기 및 목표

• 분산 딥 러닝에서 모델 앙상블이 병렬 미니배치 SGD보다 훨씬 적은 통신으로 빠른 수렴을 달성하는 이유를 이론적으로 설명하는 것.
• 이질적인 작업자 조건에서 비볼록 최적화 설정 하에서 모델 앙상블의 수렴 행동을 분석하는 것.
• 분산 훈련에서 통신 감소와 수렴 속도 사이의 트레이드오프를 정량화하는 것.
• 감소된 동기화 빈도에도 불구하고 작업자 수에 대한 선형 속도 향상을 유지할 수 있음을 확립하는 것.

제안 방법

• 모델 앙상블을 공식화하기 위해 작업자들이 I 반복 동안 로컬 SGD를 실행한 후 평균화하는 Parallel Restarted SGD (PR-SGD)를 제안한다.
• 다음 에포크의 새로운 초기화로 평균 모델을 사용하는 재시작 메커니즘을 도입하여 오차 누적을 줄인다.
• 비볼록 설정에서 수렴 오차를 제한하기 위해 작업자 및 에포크 간 가중 평균 기반 그래디언트를 사용한다.
• 평활성, 유한 분산, 리프시츠 그래디언트 등의 표준 가정 하에 동일한 및 이질적 작업자 설정 모두에서 이론적 수렴 경계를 유도한다.
• 기존 병렬 SGD의 O(T)와 비교해 동기화 횟수를 O(T^{1/4})로 줄임으로써 통신 비용을 분석한다.
• 수렴과 통신의 균형을 맞추기 위해 단계 크기 γ = Θ(√N / √T)와 평균화 간격 I_i = Θ(T^{1/4}/N^{3/4})를 사용한다.

실험 결과

연구 질문

• RQ1 왜 모델 앙상블은 통신 빈도를 줄임에도 불구하고 딥 러닝에서 빠른 수렴을 달성하는가?
• RQ2 모델 앙상블은 더 적은 통신 횟수로도 병렬 미니배치 SGD와 동일한 O(1/√(NT)) 수렴 속도를 유지할 수 있는가?
• RQ3 이질적인 분산 훈련에서 모델 앙상블의 빈도는 수렴에 어떤 영향을 미치는가?
• RQ4 분산 비볼록 최적화에서 통신 비용과 수렴 속도 사이의 이론적 트레이드오프는 무엇인가?
• RQ5 모델 앙상블에서 재시작 메커니즘이 나쁜 초기화 조건에서도 수렴을 향상시킬 수 있는가?

주요 결과

• Parallel Restarted SGD를 통한 모델 앙상블은 병렬 미니배치 SGD와 동일한 O(1/√(NT)) 수렴 속도를 달성하며, 작업자 수에 대한 선형 속도 향상을 유지한다.
• 표준 병렬 미니배치 SGD 대비 동기화 횟수를 O(T^{1/4}) 감소시켜 통신 오버헤드를 크게 낮춘다.
• 작업자별 평균화 간격 I_i = Θ(T^{1/4}/N^{3/4})를 사용함으로써 이질적 작업자 조건에서도 수렴을 유지한다.
• 이론적 분석 결과, 나쁜 초기점은 재시작 메커니즘으로 보완되어 이질적 환경에서 조기 수렴을 가속화할 수 있다.
• CIFAR10에서 ResNet20을 대상으로 한 실험 결과, I ∈ {4,8,16,32}인 모델 앙상블이 통신을 줄였음에도 불구하고 병렬 미니배치 SGD(I=1)의 성능을 동일하거나 초월한다.
• 이전의 실험적 연구를 통해 다양한 딥 러닝 작업, 특히 이미지 분류 및 음성 인식에서 이 방법이 강건함을 검증하였다.