[논문 리뷰] Blink: Fast and Generic Collectives for Distributed ML

Guanhua Wang, Shivaram Venkataraman외 4명|arXiv (Cornell University)|2019. 10. 11.

Stochastic Gradient Optimization Techniques인용 수 20

한 줄 요약

Blink은 분산 기계학습을 위한 고성능, 토폴로지 인식 가능 collective communication 라이브러리로, 이는 이질적인 GPU 인터커넥트(NVLink 및 PCIe 등)를 통해 링크 활용도를 극대화하기 위해 스패닝 트리 팩킹을 사용해 동적으로 최적의 통신 프리미티브를 생성한다. 이는 NCCL 대비 최대 8배 빠른 모델 동기화를 달성하며, 특히 이질적 또는 부분 할당된 GPU 환경에서 종단 간 학습 시간을 최대 40% 감소시킨다.

ABSTRACT

Model parameter synchronization across GPUs introduces high overheads for data-parallel training at scale. Existing parameter synchronization protocols cannot effectively leverage available network resources in the face of ever increasing hardware heterogeneity. To address this, we propose Blink, a collective communication library that dynamically generates optimal communication primitives by packing spanning trees. We propose techniques to minimize the number of trees generated and extend Blink to leverage heterogeneous communication channels for faster data transfers. Evaluations show that compared to the state-of-the-art (NCCL), Blink can achieve up to 8x faster model synchronization, and reduce end-to-end training time for image classification tasks by up to 40%.

연구 동기 및 목표

• 하드웨어 이질성과 부분 GPU 할당으로 인해 증가하는 대규모 데이터 병렬 DNN 학습의 통신 병목 문제를 해결한다.
• NCCL와 같은 린 기반 프로토콜이 린 내에서 가장 느린 링크에 의존하기 때문에 고대역폭 링크(NVLink 등)를 저용도로 사용하는 한계를 극복한다.
• 다중 GPU 서버 및 동적 클러스터 스케줄링 환경에서 이질적 인터커넥트(NVLink, PCIe)의 최적 활용을 가능하게 한다.
• 사전에 토폴로지 지식이 없이도 다양한 토폴로지에서 작동하는 일반적이고 확장 가능하며 적응 가능한 통신 라이브러리를 설계한다.
• 분산 딥 러닝 워크로드에서 링크 활용도를 극대화하고 동기화 오버헤드를 줄임으로써 종단 간 학습 시간을 최소화한다.

제안 방법

• 이질적 GPU 인터커넥트(NVLink 및 PCIe)를 통해 링크 활용도를 극대화하기 위해 스패닝 트리 팩킹을 사용해 동적으로 통신 프리미티브를 생성한다.
• 모든 GPU 간 연결성과 균형 잡힌 로드를 확보하면서도 스패닝 트리 수를 최소화하는 트리 팩킹 알고리즘을 사용한다.
• 간선의 가중치가 대역폭를 나타내는 가중 그래프로 통신 네트워크를 모델링하고, 집합적 스루풋을 극대화하는 트리를 선택하기 위한 최적화를 적용한다.
• 더 빠른 링크(예: NVLink vs. PCIe)에 더 높은 우선순위를 할당하여 이종 채널을 지원하도록 프레임워크를 확장한다.
• 내부 노드 및 외부 노드 통신 모두를 지원하며, 다양한 네트워크 토폴로지와 부분 GPU 할당에 자동으로 적응한다.
• 경량 API를 통해 기존 딥 러닝 프레임워크에 통합하여 AllReduce 및 Broadcast와 같은 컬렉티브 연산의 투명한 가속을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통신 라이브러리가 실시간으로 이질적 GPU 인터커넥트(NVLink 및 PCIe 등)를 완전히 활용할 수 있는 최적의 통신 패턴을 동적으로 생성할 수 있는가?
• RQ2 Blink의 스패닝 트리 팩킹 접근 방식은 NCCL와 같은 린 기반 프로토콜에 비해 종단 간 학습 속도와 링크 활용도 측면에서 어떻게 비교되는가?
• RQ3 톱올로지 이질성이 흔한 부분 할당된 GPU 클러스터에서 Blink은 동기화 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 다중 노드 DGX 시스템에서 다양한 간편 간 대역폭을 고려할 때 Blink은 어떻게 스케일링되는가?
• RQ5 Blink는 수동 튜닝 없이도 다양한 하드웨어 세대(DGX-1P 대비 DGX-1V 등)에서 높은 성능을 유지할 수 있는가?

주요 결과

• Blink는 다중 GPU 및 이질적 환경에서 NCCL 대비 최대 8배 빠른 모델 동기화를 달성한다.
• 이미지 분류 학습 워크로드에서 Blink는 NCCL 대비 종단 간 학습 시간을 최대 40% 감소시킨다.
• Blink는 스패닝 트리를 동적으로 팩킹함으로써 근사 최적의 링크 활용도를 달성하며, 린 기반 프로토콜의 대역폭 병목을 피한다.
• 린 기반 프로토콜이 느린 링크(예: PCIe)를 강제로 사용하는 상황에서도 Blink는 NVLink와 같은 빠른 링크에 우선순위를 할당함으로써 높은 스루풋을 유지한다.
• 다중 DGX-1 구성에서 Blink는 간편 간 대역폭이 증가함에 따라 효과적으로 스케일링되며, 내부 노드 PCIe 대역폭에 제한되는 NCCL를 능가한다.
• 간편 간 대역폭이 증가할수록 Blink의 성능 이점이 더욱 두드러지므로, 향후 고대역폭 클러스터에 강력한 잠재력을 지닌다.