[논문 리뷰] Divide-and-Shuffle Synchronization for Distributed Machine Learning.

Weiyan Wang, Cengguang Zhang외 4명|arXiv (Cornell University)|2020. 07. 07.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 분할 및 셔플링 동기화(DS-Sync)를 제안하며, 이는 분산 기계 학습에서 통신 최적화를 위한 새로운 방법으로, 작업자들을 그룹화하고 그룹 구성원을 셔플링하여 동기화되는 파라미터 수를 최소화함으로써 동기화 오버헤드를 감소시킨다. 이 방법은 수렴 속도를 유지하면서도 BERT, WideResNet, DeepFM 등의 모델에서 도전적인 데이터셋을 대상으로 훈련 효율을 크게 향상시킨다.

ABSTRACT

Distributed Machine Learning suffers from the bottleneck of synchronization to all-reduce workers' updates. Previous works mainly consider better network topology, gradient compression, or stale updates to speed up communication and relieve the bottleneck. However, all these works ignore the importance of reducing the scale of synchronized elements and inevitable serial executed operators. To address the problem, our work proposes the Divide-and-Shuffle Synchronization(DS-Sync), which divides workers into several parallel groups and shuffles group members. DS-Sync only synchronizes the workers in the same group so that the scale of a group is much smaller. The shuffle of workers maintains the algorithm's convergence speed, which is interpreted in theory. Comprehensive experiments also show the significant improvements in the latest and popular models like Bert, WideResnet, and DeepFM on challenging datasets.

연구 동기 및 목표

• 모든 작업자 간에 전체 파라미터를 동기화하는 데 기인한 분산 기계 학습의 통신 병목 현상을 해결하기 위해.
• 동기화되는 요소의 규모를 줄이고 동기화 프로토콜에서 순차적 실행 오버헤드를 제거하기 위해.
• 동적 작업자 그룹화를 통해 통신 비용을 최소화하면서도 알고리즘의 수렴 속도를 유지하기 위해.
• 현대의 딥 러닝 모델과 호환되는 실용적이고 효과적인 동기화 메커니즘을 설계하기 위해.

제안 방법

• 모든 그룹에서 동기화되는 파라미터 수를 줄이기 위해 작업자를 여러 개의 병렬 그룹으로 분할한다.
• 훈련 반복 동안 그룹 구성원을 동적으로 셔플링하여 다양성을 유지하고 오래된 상태를 방지한다.
• 각 그룹 내에서만 동기화하여, all-reduce 작업의 크기를 크게 줄인다.
• 이론적 분석을 통해 셔플링이 기울기 분산 성질을 유지함으로써 수렴 속도를 보존함을 보여준다.
• 기존 딥 러닝 프레임워크와 호환되며, 최소한의 수정만으로 구현 가능하다.

실험 결과

연구 질문

• RQ1 작업자 그룹화를 통해 동기화되는 파라미터 수를 줄임으로써 분산 훈련에서 통신 효율을 향상시킬 수 있는가?
• RQ2 작업자 그룹의 동적 셔플링이 분산 최적화 알고리즘의 수렴 속도를 유지하는가?
• RQ3 DS-Sync는 다양한 딥 러닝 모델과 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ4 DS-Sync는 기존의 통신 최적화 기법들(예: 기울기 압축 또는 오래된 업데이트 처리)을 능가할 수 있는가?

주요 결과

• DS-Sync는 더 작은 동적 그룹으로 제한된 all-reduce 작업을 통해 동기화 오버헤드를 크게 감소시킨다.
• 이론적 분석을 통해 전체 동기화와 비교했을 때 수렴 속도가 유사하게 유지됨을 입증했다.
• 실험 결과, 도전적인 데이터셋을 대상으로 BERT, WideResNet, DeepFM에서 일관된 훈련 속도 향상을 보였다.
• 모델 아키텍처나 하이퍼파라미터의 변경 없이도 측정 가능한 성능 향상을 달성했다.