[논문 리뷰] Communication-Efficient Distributed Deep Learning: Survey, Evaluation, and Challenges.

Shaohuai Shi, Zhenheng Tang외 4명|arXiv (Cornell University)|2020. 05. 27.

Brain Tumor Detection and Classification인용 수 2

한 줄 요약

이 논문은 통신 효율적인 분산 딥 러닝 기법을 조사하며, 이를 최적화 알고리즘, 시스템 아키텍처, 통신 인fra구조로 분류한다. 10Gbps 및 100Gbps 네트워크를 사용하는 32-GPU 클러스터에서 일곱 가지 방법을 평가하여, 통신 감소 기법이 특히 고지연 시간 조건에서 확장성과 학습 효율을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

In recent years, distributed deep learning techniques are widely deployed to accelerate the training of deep learning models by exploiting multiple computing nodes. However, the extensive communications among workers dramatically limit the system scalability. In this article, we provide a systematic survey of communication-efficient distributed deep learning. Specifically, we first identify the communication challenges in distributed deep learning. Then we summarize the state-of-the-art techniques in this direction, and provide a taxonomy with three levels: optimization algorithm, system architecture, and communication infrastructure. Afterwards, we present a comparative study on seven different distributed deep learning techniques on a 32-GPU cluster with both 10Gbps Ethernet and 100Gbps InfiniBand. We finally discuss some challenges and open issues for possible future investigations.

연구 동기 및 목표

• 분산 딥 러닝에서 시스템 확장성을 저해하는 주요 통신 과제를 규명하기 위해.
• 최적화 알고리즘, 시스템 아키텍처, 통신 인fra구조의 세 수준에서 통신 효율적인 기법에 대한 종합적인 분류 체계를 제공하기 위해.
• 다양한 네트워크 조건에서 32-GPU 클러스터에서 일곱 가지 주요 분산 학습 기법을 실험적으로 평가하기 위해.
• 네트워크 대역폭과 지연 시간이 학습 성능 및 통신 효율성에 미치는 영향을 분석하기 위해.
• 통신 효율적인 딥 러닝 분야에서의 열린 과제와 향후 연구 방향을 부각하기 위해.

제안 방법

• 논문은 최적화 알고리즘(예: 기울기 압축), 시스템 아키텍처(예: 파라미터 서버 대비 린-올래리스), 통신 인fra구조(예: 네트워크 토폴로지 및 프로토콜)로 구성된 삼단계 분류 체계를 제안한다.
• 기울기 양자화, 희소화, 모델 평균화 등의 방법을 포함한 일곱 가지 대표적 기법을 32-GPU 클러스터에서 평가한다.
• 성능 평가를 위해 10Gbps 이더넷과 100Gbps 인피니밴드를 모두 사용하여 다양한 네트워크 대역폭과 지연 시간 조건에서의 성능을 분석한다.
• 평가 초점은 다양한 딥 러닝 워크로드에서의 학습 속도 향상, 통신 오버헤드, 수렴 행동이다.
• 표준 벤치마크를 사용하여 기법 간의 통신 효율성과 확장성의 비교 분석을 수행한다.
• 통신 감소, 수렴 안정성, 계산 오버헤드 간의 상호 트레이드오프를 규명하기 위해 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 통신 효율 기법이 분산 딥 러닝에서 학습 속도 향상과 확장성에 어떻게 영향을 미치는가?
• RQ2 네트워크 대역폭(10Gbps 대비 100Gbps)이 통신 효율 학습 기법의 성능에 어떤 영향을 미치는가?
• RQ3 어느 최적화 알고리즘과 시스템 아키텍처 조합이 통신 감소와 모델 수렴 간의 최적 균형을 이룰 수 있는가?
• RQ4 기울기 압축과 희소화 기법은 통신 오버헤드와 학습 정확도 측면에서 어떻게 비교되는가?
• RQ5 분산 학습에서 더 높은 통신 효율성을 달성하기 위한 주요 병목 현상과 열린 과제는 무엇인가?

주요 결과

• 통신 효율 기법은 특히 10Gbps 이더넷과 같은 저대역폭 네트워크에서 학습 시간을 크게 단축시킨다.
• 기울기 양자화 및 희소화와 같은 기법은 정확도 손실이 크지 않은 상태에서 통신 볼륨을 최대 90%까지 감소시킨다.
• 100Gbps 인피니밴드 네트워크는 10Gbps 이더넷 대비 더 빠른 수렴과 높은 스루풋을 제공하지만, 통신 압축 기법 역시 여전히 상당한 성능 향상을 이룬다.
• 특히 파라미터 서버 대비 올래리스 아키텍처의 선택은 통신 효율성과 확장성에 측정 가능한 영향을 미친다.
• 일부 통신 감소 기법은 특히 극단적인 압축 수준에서 수렴 안정성에 영향을 줄 수 있다.
• 연구는 네트워크 지연 시간이 대역폭 뿐 아니라 통신 효율 기법의 효과성 결정에 핵심 요소임을 규명한다.