[논문 리뷰] Communication-Efficient Distributed Deep Learning: A Comprehensive Survey

Zhenheng Tang, Shaohuai Shi외 3명|arXiv (Cornell University)|2020. 03. 10.

Stochastic Gradient Optimization Techniques참고 문헌 210인용 수 89

한 줄 요약

통신 효율이 높은 데이터 병렬 분산 딥러닝에 대한 포괄적 연구로, 네 가지 차원 분류법(동기화, 시스템 아키텍처, 압축, 그리고 통신-계산 병렬성), 벤치마크, 그리고 수렴 분석을 개요합니다.

ABSTRACT

Distributed deep learning (DL) has become prevalent in recent years to reduce training time by leveraging multiple computing devices (e.g., GPUs/TPUs) due to larger models and datasets. However, system scalability is limited by communication becoming the performance bottleneck. Addressing this communication issue has become a prominent research topic. In this paper, we provide a comprehensive survey of the communication-efficient distributed training algorithms, focusing on both system-level and algorithmic-level optimizations. We first propose a taxonomy of data-parallel distributed training algorithms that incorporates four primary dimensions: communication synchronization, system architectures, compression techniques, and parallelism of communication and computing tasks. We then investigate state-of-the-art studies that address problems in these four dimensions. We also compare the convergence rates of different algorithms to understand their convergence speed. Additionally, we conduct extensive experiments to empirically compare the convergence performance of various mainstream distributed training algorithms. Based on our system-level communication cost analysis, theoretical and experimental convergence speed comparison, we provide readers with an understanding of which algorithms are more efficient under specific distributed environments. Our research also extrapolates potential directions for further optimizations.

연구 동기 및 목표

• 데이터-병렬 분산 학습에서 통신 효율성에 초점을 맞춘 택소노미를 도입한다.
• 상태-오브-더-아트의 동기화, 시스템 아키텍처, 압축 기술, 스케줄링 방법을 조사한다.
• 수렴 경계를 분석하고 주요 알고리즘들을 실험적으로 비교한다.
• 벤치마크 프레임워크를 제공하고 서로 다른 환경에서 알고리즘 선택에 실용적인 가이드를 제시한다.

제안 방법

• 네 가지 차원 택소노미를 제안한다: 통신 동기화, 시스템 아키텍처, 압축 기술, 그리고 통신과 계산의 병렬성.
• BSP-SGD 및 변형과 함께 동기식, 오래된-동기식, 비동기식, Local-SGD 프레임워크를 검토한다.
• 중앙 집중형(Parameter Server) 및 분산형(All-Reduce, Gossip) 아키텍처와 그 트레이드-오프를 조사한다.
• 수렴 분석을 정리하고 FedML/MPI 기반 프레임워크를 이용한 실험 벤치마크를 제공한다.
• 분산 DL에서의 통신 최적화를 위한 보조 기법과 향후 방향을 요약한다.

실험 결과

연구 질문

• RQ1 데이터 병렬 분산 딥러닝에서 통신 효율성을 지배하는 주요 차원은 무엇인가?
• RQ2 다양한 동기화 방식, 시스템 아키텍처, 압축 기술, 그리고 계산-통신 병렬성이 수렴 및 확장성에 어떤 영향을 미치는가?
• RQ3 대표적 알고리즘의 이론적 수렴 보증과 실용적 성능 트레이드-오프는 아키텍처 간에 어떻게 다른가?
• RQ4 통일된 실험 환경에서 주류 알고리즘 간의 실험 결과는 어떻게 비교되는가?
• RQ5 분산 DL에서 통신 병목 현상을 추가로 줄이기 위한 미래 방향은 무엇인가?

주요 결과

• 네 가지 차원 택소노미가 데이터 병렬 DL의 통신 효율성의 주요 축을 포착한다.
• 동기화, 아키텍처, 압축, 및 재조합된 스케줄링 선택은 수렴성, 혼잡, 모델 일관성에서 서로 다른 트레이드-오프를 초래한다.
• 실험적 결과는 BSP-SGD, ASP-SGD, Local-SGD, 및 FedAvg가 통일된 설정에서 유사한 정확도에 도달할 수 있음을 보여주지만, 성능과 안정성은 작업자 수와 새로 고침(staleness)에 따라 달라진다.
• 비동기는 월 시간 벽 시각(Wall-clock time)을 개선할 수 있지만 수렴이 저하될 수 있으며, 로컬 업데이트(Local-SGD)는 통신을 줄일 수 있지만 정확도 손실을 피하려면 동기화 빈도를 신중하게 조정해야 한다.
• 중앙 집중형(PS) 대 분산형(All-Reduce, Gossip) 아키텍처는 서로 다른 병목 현상, 혼잡 구도, 및 확장 용이성의 차이를 보인다.