[논문 리뷰] Communication Optimization Strategies for Distributed Deep Learning: A Survey

Shuo Ouyang, Dezun Dong외 2명|arXiv (Cornell University)|2020. 03. 06.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 종합적 서베이는 분산 딥 러닝에서의 통신 최적화 전략에 대한 포괄적인 분석을 제시하며, 기술을 알고리즘적 접근과 네트워크 수준의 접근으로 분류한다. 모델 압축, 기울기 희소화, 통신-계산 겹침을 통한 통신 빈도 및 양 감소를 제안하며, 최적화된 프로토콜과 토폴로지에 의한 네트워크 효율성 향상을 통해 대역폭 제약 환경에서 분산 DNN 훈련을 가속화한다.

ABSTRACT

Recent trends in high-performance computing and deep learning lead to a proliferation of studies on large-scale deep neural network (DNN) training. However, the frequent communication requirements among computation nodes drastically slow down the overall training speed, which makes the bottleneck in distributed training, particularly in clusters with limited network bandwidth. To mitigate the drawbacks of distributed communication, researchers have proposed various optimization strategies. In this paper, we give a comprehensive survey of communication strategies from both algorithm and computer network perspectives. Algorithm optimizations focus on reducing the amount of communication in distributed training, while network optimizations focus on speeding up the communication between distributed devices. At the algorithm level, we describe how to reduce the number of communication rounds and transmitted bits per round, besides we shed light on how to overlap computation and communication. At the network level, we discuss the effect caused by network infrastructures, including communication schemes, network protocols, and topology. Finally, we extrapolate potential challenges and research directions for communication acceleration in distributed DNN training.

연구 동기 및 목표

• 저대역폭 클러스터에서 분산 딥 러닝 훈련 시 통신이 성능 저하 요인으로 작용하는 방식을 분석하는 것.
• 통신 라운드 수와 전송 데이터 양을 줄이는 알고리즘 전략을 식별하고 분류하는 것.
• 통신 방식, 프로토콜, 토폴로지 등을 포함한 네트워크 수준 최적화 기법이 통신 효율성을 어떻게 향상시키는지 분석하는 것.
• 계산과 통신의 겹침을 통합하여 훈련 처리량을 향상시키는 통찰을 통합하는 것.
• 통신 최적화를 통한 분산 DNN 훈련 가속화를 위한 향후 연구 과제와 방향을 제시하는 것.

제안 방법

• 통신 라운드당 전송되는 비트 수를 줄이기 위해 기울기 희소화 및 양자화와 같은 알고리즘 최적화를 제안한다.
• 개선된 집계 및 업데이트 전략을 통해 통신 횟수를 최소화하는 기법을 도입한다.
• 통신 지연을 숨기고 자원 활용도를 향상시키기 위해 통신-계산 겹침 메커니즘을 분석한다.
• RDMA와 같은 프로토콜과 피트트리와 같은 네트워크 토폴로지 포함, 네트워크 인프라가 통신 성능에 미치는 영향을 평가한다.
• 파라미터 서버와 린-올레드류 같은 통신 방식을 분류하고, 확장성과 효율성 측면에서 평가한다.
• 엔드 투 엔드 훈련 성능에 영향을 미치는 네트워크 프로토콜과 하드웨어 지원(예: 고속 인터커넥트)의 영향을 검토한다.

실험 결과

연구 질문

• RQ1 모델 수렴에 영향을 주지 않으면서 분산 DNN 훈련에서 통신 횟수를 최소화할 수 있는 방법은 무엇인가?
• RQ2 분산 훈련 라운드당 전송되는 데이터 부피를 효과적으로 줄이는 알고리즘 기법은 무엇인가?
• RQ3 계산과 통신을 얼마나 효과적으로 겹칠 수 있을까? 이는 훈련 효율성을 향상시키는 데 어떤 영향을 미치는가?
• RQ4 네트워크 프로토콜과 토폴로지는 분산 딥 러닝 시스템에서 통신 성능에 어떤 영향을 미치는가?
• RQ5 미래의 분산 DNN 훈련 프레임워크에서 확장성 있고 효율적인 통신을 달성하기 위한 핵심 열린 과제는 무엇인가?

주요 결과

• 기울기 희소화 및 양자화와 같은 알고리즘 최적화 기법은 통신 라운드당 전송되는 데이터 양을 크게 줄여 대역폭 효율성을 향상시킨다.
• 계산과 통신을 겹치는 기법은 통신 지연을 효과적으로 숨기고 전체 훈련 처리량을 향상시킨다.
• 고속 인터커넥트와 RDMA와 같은 효율적인 프로토콜을 포함한 네트워크 수준 최적화는 대규모 클러스터에서 통신 오버헤드를 크게 줄인다.
• 파라미터 서버 또는 린-올레드류와 같은 통신 방식의 선택은 확장성과 훈련 성능에 명백한 영향을 미친다.
• 네트워크 토폴로지는 특히 대규모 분산 시스템에서 통신 병목 현상을 결정하는 데 핵심적인 역할을 한다.
• 향후 연구는 네트워크 상태와 모델 특성에 따라 동적으로 조정되는 적응형 통신 전략에 초점을 맞춰야 한다.