[논문 리뷰] Domain-specific Communication Optimization for Distributed DNN Training

Hao Wang, Jingrong Chen외 8명|arXiv (Cornell University)|2020. 08. 16.

Robotics and Automated Systems참고 문헌 90인용 수 12

한 줄 요약

DLCP는 분산 DNN 학습을 위한 도메인 특화된 통신 최적화 프레임워크로, 유한 손실 내성 전송, 계층 및 크기에 기반한 패킷별 그래디언트 우선순위 지정, 패킷 간 순서에 영향을 받지 않는 로드 밸런싱을 통해 통신 오버헤드를 줄입니다. 이는 패킷 수준에서 미세 조절된 네트워크 인식 최적화를 통해 기존 최고 수준의 솔루션 대비 최대 84.3%의 추가 학습 속도 향상을 달성합니다.

ABSTRACT

Communication overhead poses an important obstacle to distributed DNN training and draws increasing attention in recent years. Despite continuous efforts, prior solutions such as gradient compression/reduction, compute/communication overlapping and layer-wise flow scheduling, etc., are still coarse-grained and insufficient for an efficient distributed training especially when the network is under pressure. We present DLCP, a novel solution exploiting the domain-specific properties of deep learning to optimize communication overhead of DNN training in a fine-grained manner. At its heart, DLCP comprises of several key innovations beyond prior work: e.g., it exploits {\em bounded loss tolerance} of SGD-based training to improve tail communication latency which cannot be avoided purely through gradient compression. It then performs fine-grained packet-level prioritization and dropping, as opposed to flow-level scheduling, based on layers and magnitudes of gradients to further speedup model convergence without affecting accuracy. In addition, it leverages inter-packet order-independency to perform per-packet load balancing without causing classical re-ordering issues. DLCP works with both Parameter Server and collective communication routines. We have implemented DLCP with commodity switches, integrated it with various training frameworks including TensorFlow, MXNet and PyTorch, and deployed it in our small-scale testbed with 10 Nvidia V100 GPUs. Our testbed experiments and large-scale simulations show that DLCP delivers up to $84.3\%$ additional training acceleration over the best existing solutions.

연구 동기 및 목표

• 네트워크 스트레스와 테일 지연 시간 상황에서 지속적인 통신 병목 현상에 대응합니다.
• 기존 솔루션인 그래디언트 압축 및 플로우 스케줄링 등의 거시적, 플로우 수준 최적화의 한계를 극복합니다.
• SGD에서의 유한 손실 내성 및 계층/크기 기반 그래디언트 중요도와 같은 딥러닝의 도메인 특성을 활용하여 미세 조절된 네트워크 수준 최적화를 가능하게 합니다.
• 딥러닝 프레임워크의 변경 없이 애플리케이션 레이어 이하에서 작동하는 전송 및 스케줄링 스택을 설계하여 종단 간 학습 효율성을 향상시킵니다.
• 모델 정확도를 유지하면서 테일 지연 시간을 최소화하고 로드 밸런싱을 향상시켜 뚜렷한 학습 가속을 달성합니다.

제안 방법

• SGD의 내재된 그래디언트 손실 내성 특성을 활용해, 지연되거나 손실된 패킷의 소량(최대 10%)을 의도적으로 드롭하거나 무시하는 유한 손실 내성 전송 프로토콜을 도입합니다.
• 스위치에서 계층(뒤쪽 계층이 더 중요함)과 그래디언트 크기(크기가 큰 값일수록 손실에 더 내성적임)의 두 차원에 기반한 패킷 우선순위 큐잉 및 드롭을 구현합니다.
• DNN 학습에서 패킷 간 순서에 의존하지 않는 특성을 활용해 재정렬 오버헤드 없이 패킷 수준의 로드 밸런싱을 구현함으로써 네트워크 설계를 단순화합니다.
• 파라미터 서버 및 집합적 통신 패턴(예: NCCL)과 모두 통합되며, TensorFlow, MXNet, PyTorch와도 호환됩니다.
• 특수 하드웨어에 의존하지 않고 일반 스위치를 사용해 우선순위 기반 스케줄링과 손실 내성 기능을 구현합니다.
• 재전송 타임아웃(RTO)에 종속되지 않는 설계를 통해 TCP 기반 프로토콜에 영향을 주는 RTO 설정 문제에 강건합니다.

실험 결과

연구 질문

• RQ1 SGD 기반 학습에서의 유한 손실 내성 특성을 활용해 모델 수렴에 영향을 주지 않으면서도 테일 통신 지연 시간을 줄일 수 있는가?
• RQ2 계층 및 크기에 기반한 패킷별 우선순위 지정이 학습 수렴과 통신 병목 현상을 어떻게 향상시킬 수 있는가?
• RQ3 재정렬 없이 패킷 수준의 로드 밸런싱을 어느 정도 달성할 수 있으며, 고밀도 혼잡 상황에서 어떤 성능 향상을 가져오는가?
• RQ4 네트워크 스트레스 하에서 기존 플로우 수준 최적화 기법과 비교해 DLCP는 학습 속도 향상과 강건성 측면에서 어떻게 다릅니까?
• RQ5 모델 특화 튜닝 없이 다양한 모델(예: ResNet50, InceptionV3)과 학습 워크로드에서 DLCP가 뚜렷한 성능 향상을 달성할 수 있는가?

주요 결과

• 대규모 시뮬레이션에서 DLCP는 기존 최고 수준 솔루션(예: ByteScheduler) 대비 최대 84.3%의 추가 학습 가속을 달성합니다.
• 10% 손실 내성 한계를 설정한 경우, DLCP는 기준값과 거의 동일한 모델 정확도를 유지하며 수렴 곡선도 기준값과 거의 구분되지 않습니다.
• RTOmin = 1ms일 경우 최대 84.5%, RTOmin = 5ms일 경우 최대 83.9%까지 테일 플로우 완료 시간(FCT)을 감소시켜, 심한 RTO 설정 조건에서도 TCP 기반 프로토콜을 능가합니다.
• 1% 및 10% 손실 내성 한계에서 수렴 시간이 거의 동일하여, 최적 성능 달성을 위해 손실 내성 임계값을 정밀하게 튜닝할 필요가 없음을 시사합니다.
• 재전송 타임아웃(RTO) 설정 문제에 강건하며, 재전송에 의존하지 않아서 잘못된 재전송 및 타이머 해상도 제한 등의 문제를 피할 수 있습니다.
• 다양한 딥러닝 프레임워크(TensorFlow, MXNet, PyTorch)와 호환되며, 파라미터 서버 및 집합적 통신 패턴 모두에서 작동합니다.