[논문 리뷰] Scaling Distributed Machine Learning with In-Network Aggregation

Amedeo Sapio, Marco Canini외 8명|arXiv (Cornell University)|2019. 02. 22.

Stochastic Gradient Optimization Techniques참고 문헌 73인용 수 119

한 줄 요약

SwitchML은 프로그래머블 스위치를 이용한 네트워크 내 집계를 도입하여 워커 업데이트를 합산하고 데이터 트래픽을 줄이며, 분산 학습에서 최대 5.5x의 엔드-투-엔드 속도 향상을 달성한다.

ABSTRACT

Training machine learning models in parallel is an increasingly important workload. We accelerate distributed parallel training by designing a communication primitive that uses a programmable switch dataplane to execute a key step of the training process. Our approach, SwitchML, reduces the volume of exchanged data by aggregating the model updates from multiple workers in the network. We co-design the switch processing with the end-host protocols and ML frameworks to provide an efficient solution that speeds up training by up to 5.5$ imes$ for a number of real-world benchmark models.

연구 동기 및 목표

• 대규모 분산 ML에서 학습 병목이 계산에서 통신으로 이동하도록 동기를 부여한다.
• 프로그램 가능 스위치에 구현된 실용적인 네트워크 내 집계 원시를 제안한다.
• SGD 기반 학습을 가속하기 위해 스위치 처리와 엔드 호스트 프로토콜 및 ML 프레임워크를 공동 설계한다.
• 엔드-투-엔드 학습 속도 향상을 시연하고 전통적인 all-reduce 및 파라미터 서버 방식과 비교한다.

제안 방법

• 모델 업데이트를 스위치 파이프라인 한계에 맞는 청크로 분해하여 스트리밍 집계를 수행한다.
• 적응형 스케일링을 통해 부동소수 값을 고정소수로 매핑하는, 풀 기반의 스위치 내 정수 집계로 업데이트를 합산한다.
• 엔드 호스트 집계 프로토콜을 조정하여 스위치 애그리레이터의 동기화된 슬롯 기반 활용을 유도한다.
• 가벼운 호스트 주도 재전송과 스위치 측 그림자 복사본을 사용한 패킷 손실에 대한 내결함 메커니즘을 제공한다.
• 실용적 배포를 위해 SwitchML을 기존 ML 프레임워크(예: PyTorch, TensorFlow) 및 Horovod와 통합한다.

실험 결과

연구 질문

• RQ1 프로그램 가능 스위치 내부의 네트워크 내 집계가 동기화된 분산 SGD의 통신 오버헤드를 줄일 수 있는가?
• RQ2 스위치 데이터플레인에서 그래디언트 집계를 구현하기 위한 설계상의 트레이드오프(정밀도, 메모리, 신뢰성)는 무엇인가?
• RQ3 다양한 네트워크 속도와 모델 크기에서 SwitchML은 전통적인 all-reduce 및 파라미터 서버 방식과 어떻게 비교되는가?
• RQ4 실제 ML 파이프라인에 SwitchML를 통합할 때 엔드-투-엔드 학습 성능 영향은 무엇인가?

주요 결과

• SwitchML은 실제 DNN 벤치마크에서 최대 5.5x 엔드-투-엔드 학습 속도향상을 달성한다.
• 네트워크 내 집계는 테스트된 워크로드에서 링-all-reduce를 지속적으로 능가하며, 합성 벤치마크에서 네트워크 바운드 모델의 10 Gbps에서 최대 80% 더 빨랐고 100 Gbps에서 최대 67% 더 빨랐다.
• RDMA를 사용하는 NCCL과 비교할 때 SwitchML 기반 집계가 최대 2.9x 더 빠르고, 보고된 마이크로벤치마크에서 TCP를 사용하는 NCCL보다 최대 9.1x 더 빠르다.
• 그래디언트 압축(Top-k, QSGD)은 항상 이익이 되지 않는다; 많은 경우 압축 오버헤드가 데이터 감소를 상쇄하고, 하드웨어 및 워크로드 조건이 압축 이득을 제한할 때 SwitchML이 주도하는 경우가 많다.
• 설계는 풀 기반 스트리밍 집계와 두 풀 그림자 복사 메커니즘을 활용하여 스위치의 복잡성을 최소화하며 패킷 손실을 견딘다.