[논문 리뷰] SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum

Jianyu Wang, Vinayak Tantia외 2명|arXiv (Cornell University)|2019. 10. 01.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 68

한 줄 요약

SlowMo는 기본 분산 최적화기(예: Local SGD, SGP) 위에 놓인 일반적인 느린 모멘텀 프레임워크로, 큰 커뮤니케이션 증가 없이 최적화와 일반화를 개선합니다. 매끄러운 비볼록 목적함수에 대한 수렴 보장을 달성하고 정확도에서 기본 방법과 동등하거나 그 이상이며 효율성을 유지합니다.

ABSTRACT

Distributed optimization is essential for training large models on large datasets. Multiple approaches have been proposed to reduce the communication overhead in distributed training, such as synchronizing only after performing multiple local SGD steps, and decentralized methods (e.g., using gossip algorithms) to decouple communications among workers. Although these methods run faster than AllReduce-based methods, which use blocking communication before every update, the resulting models may be less accurate after the same number of updates. Inspired by the BMUF method of Chen & Huo (2016), we propose a slow momentum (SlowMo) framework, where workers periodically synchronize and perform a momentum update, after multiple iterations of a base optimization algorithm. Experiments on image classification and machine translation tasks demonstrate that SlowMo consistently yields improvements in optimization and generalization performance relative to the base optimizer, even when the additional overhead is amortized over many updates so that the SlowMo runtime is on par with that of the base optimizer. We provide theoretical convergence guarantees showing that SlowMo converges to a stationary point of smooth non-convex losses. Since BMUF can be expressed through the SlowMo framework, our results also correspond to the first theoretical convergence guarantees for BMUF.

연구 동기 및 목표

• 분산 최적화에서 통신 오버헤드를 줄이고 모델 정확도를 유지하거나 향상시키기.
• 주기적 동기화와 모멘트 업데이트로 기본 최적화기(SGD, SGP 등)를 강화하는 통합 SlowMo 프레임워크를 제공합니다.
• 매끄러운 비볼록 목적함수에 대한 SlowMo의 이론적 수렴 보장을 제공합니다.
• 여러 작업에서 이미지 분류 및 신경 기계 번역에서 실증적 이점을 시연합니다.

제안 방법

• 작업자들은 통신 사이에 tau 로컬 스텝 동안 기본 최적화기를 실행합니다.
• tau 스텝 후, 작업자들은 AllReduce를 통해 파라미터를 평균화하여 x_{t,τ}를 형성합니다.
• 느린 모멘텀 업데이트를 적용합니다: u_{t+1} = β u_t + (1/γ_t)(x_{t,0} - x_{t,τ}).
• 외부 업데이트: x_{t+1,0} = x_{t,0} - α γ_t u_{t+1} 모멘텀을 전파하기 위해.
• SlowMo 업데이트는 매개변수 선택에 따라 BMUF, Local SGD, Lookahead를 특수한 경우로 복원할 수 있습니다.
• 이론적 결과는 표준 가정 하에서 평활한 비볼록 손실의 정지점으로 수렴하며 속도는 O(1/√(m T τ))임을 보입니다.

실험 결과

연구 질문

• RQ1 SlowMo가 SGP, Local SGD, BMUF 등 서로 다른 기본 분산 최적화기에서 일관되게 최적화와 일반화를 개선하면서 통신 효율성을 유지할 수 있는가?
• RQ2 매끄러운 비볼록 목적함수에 대한 SlowMo의 수렴 보장은 무엇이며 매개변수(τ, α, β)가 성능에 어떤 영향을 미치는가?
• RQ3 AR-SGD, SGP, OSGP와 같은 기준과 비교하여 대규모 비전 및 언어 작업에서 SlowMo의 성능은 어떤가?
• RQ4 정확한 평균화를 제거한 변형(SGP-SlowMo-noaverage)이 성능 및 통신에 미치는 영향은 무엇인가?
• RQ5 τ의 선택이 속도-정확도 트레이드오프 및 작업 간 모델 드리프트에 어떤 영향을 미치는가?

주요 결과

• SlowMo는 SGP, OSGP, Local SGD와 같은 기본 최적화기와 결합될 때 CIFAR-10, ImageNet, WMT’16 En-De에서 훈련 손실과 검증 정확도/BLEU를 일관되게 개선합니다.
• CIFAR-10에서 SGP/OSGP/Local SGD와 함께 사용된 SlowMo는 기본 방법 대비 검증 정확도를 최대 약 0.8–1.5 포인트 개선합니다.
• ImageNet에서 SlowMo는 Local SGD에서 상위 1위 정확도를 69.94%에서 73.24%로, OSGP에서 74.96%에서 75.54%로 개선하고, 동일한 반복당 시간.
• WMT’16 En-De에서 SlowMo는 Local Adam/SGP 기반에서 BLEU를 26.62/26.92에서 각각 27.14/27.84로 개선합니다.
• SlowMo는 O(1/√(m T τ))의 수렴 속도를 달성하고 명시된 조건 하에서 워커 수에 비례하는 선형 속도향상을 제공합니다.
• 정확한 평균화 단계를 제거한 변형(SGP-SlowMo-noaverage)이 유사한 성능을 달성하여 모멘텀 버퍼 동기화가 주된 이득을 주도한다는 것을 시사합니다.