[논문 리뷰] Leader Stochastic Gradient Descent for Distributed Training of Deep Learning Models

Yunfei Teng, Wenbo Gao외 4명|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 깊이 학습을 위한 통신 효율적인 분산 최적화 방법인 리더 확률적 경사하강법(Leader Stochastic Gradient Descent, LSGD)을 제안한다. 이 방법은 파라미터 평균화와 대칭성 함정으로 인한 수렴 문제를 피하기 위해 '리더' 워커의 파라미터를 업데이트를 이끄는 데 사용한다. CNN에서 최신 기술 수준의 성능을 달성하면서도 통신 오버헤드를 줄였다.

ABSTRACT

We consider distributed optimization under communication constraints for training deep learning models. We propose a new algorithm, whose parameter updates rely on two forces: a regular gradient step, and a corrective direction dictated by the currently best-performing worker (leader). Our method differs from the parameter-averaging scheme EASGD in a number of ways: (i) our objective formulation does not change the location of stationary points compared to the original optimization problem; (ii) we avoid convergence decelerations caused by pulling local workers descending to different local minima to each other (i.e. to the average of their parameters); (iii) our update by design breaks the curse of symmetry (the phenomenon of being trapped in poorly generalizing sub-optimal solutions in symmetric non-convex landscapes); and (iv) our approach is more communication efficient since it broadcasts only parameters of the leader rather than all workers. We provide theoretical analysis of the batch version of the proposed algorithm, which we call Leader Gradient Descent (LGD), and its stochastic variant (LSGD). Finally, we implement an asynchronous version of our algorithm and extend it to the multi-leader setting, where we form groups of workers, each represented by its own local leader (the best performer in a group), and update each worker with a corrective direction comprised of two attractive forces: one to the local, and one to the global leader (the best performer among all workers). The multi-leader setting is well-aligned with current hardware architecture, where local workers forming a group lie within a single computational node and different groups correspond to different nodes. For training convolutional neural networks, we empirically demonstrate that our approach compares favorably to state-of-the-art baselines.

연구 동기 및 목표

• 분산 딥러닝 학습에서 파라미터 동기화의 빈도와 양을 줄여 통신 병목 현상을 해결한다.
• 다른 국소 최적화 지점에 갇힌 워커들에서 파라미터를 평균화함으로써 발생하는 수렴 성능 저하 문제를 해결한다.
• 비볼록 손실 곡면에서 대칭성을 깨어 비최적의 대칭 솔루션으로의 수렴을 방지한다.
• 로컬 리더와 글로벌 리더를 활용해 현대의 다노드 하드웨어 아키텍처와 부합하는 확장 가능한 최적화 프레임워크를 설계한다.
• 기존의 EASGD 및 표준 동기식 SGD와 비교해 학습 효율성과 모델 성능을 향상시킨다.

제안 방법

• 알고리즘은 표준 경사하강 단계 외에 현재 가장 우수한 성능을 보이는 워커(리더)의 파라미터에서 유도된 수정 방향을 도입한다.
• 리더의 파라미터가 모든 워커에게 브로드캐스트되며, 이는 전체 파라미터 평균화보다 통신 비용을 줄인다.
• 배치 버전인 리더 경사하강법(LGD)은 비볼록 설정 하에서 수렴성을 이론적으로 분석한다.
• 스토케스틱 변형인 LSGD는 미니배치 학습에 확장되며 이론적 보장을 제공한다.
• 학습 처리량과 확장성을 향상시키기 위해 비동기 구현이 개발되었다.
• 다중 리더 확장은 워커를 노드별로 그룹화하고, 각 그룹에 로컬 리더를 두며, 로컬 리더와 글로벌 리더 양쪽으로 향하는 힘을 통해 업데이트한다.

실험 결과

연구 질문

• RQ1 통신 제약 조건 하에서 리더 기반 보정 메커니즘이 분산 딥러닝의 수렴성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 파라미터 평균화와 비교해 리더 기반 업데이트 전략은 수렴 속도와 최종 모델 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 리더 메커니즘이 비볼록 최적화 곡면에서 대칭성을 효과적으로 깨어 비최적의 국소 최적화 지점으로의 수렴을 방지하는가?
• RQ4 모든 워커의 파라미터가 아닌 리더의 파라미터만 브로드캐스트함으로써 통신 효율성이 얼마나 향상되며, 이로 인해 모델 성능이 손상되지 않는가?
• RQ5 다중 리더 아키텍처는 실제 하드웨어와 얼마나 잘 맞으며, 여러 노드에 걸쳐 어떻게 확장되는가?

주요 결과

• 제안된 LSGD 알고리즘은 컬러리션 네트워크에서 최신 기술 수준의 기준보다 비교적 또는 더 높은 테스트 정확도를 달성한다.
• 다른 국소 최적화 지점에 갇힌 워커들의 평균 파라미터로 인한 수렴 저하를 방지한다.
• 리더의 파라미터를 활용함으로써 대칭성이 깨지고, 일반화 능력이 떨어지는 해법으로의 수렴 위험을 줄인다.
• 통신 효율성이 크게 향상되었으며, 모든 워커의 파라미터가 아닌 리더의 파라미터만 브로드캐스트되기 때문이다.
• 다중 리더 확장은 하드웨어 노드에 효과적으로 매핑되어 클러스터 전반에 걸친 확장 가능하고 효율적인 분산 학습을 가능하게 한다.
• 실험 결과 리더 기반 접근 방식이 EASGD 및 표준 SGD보다 학습 정확도와 수렴 안정성 측면에서 뛰어나다는 게 입증되었다.