[논문 리뷰] COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training

Divya Kiran Kadiyala, Saeed Rashidi외 4명|arXiv (Cornell University)|2022. 11. 30.

Advanced Data Processing Techniques인용 수 5

한 줄 요약

COMET는 분산 딥러닝 훈련 클러스터의 빠른 설계공간 탐색을 위한 통합적이고 워크플로우 기반의 방법론으로, 병렬화 전략(데이터/모델 병렬화)과 클러스터 자원 할당(계산, 메모리, 네트워크)을 공동 최적화한다. 이는 시스템 설계자가 최적의 구성(예: Dojo 클러스터에서의 MP8_DP8 또는 TPU 클러스터에서의 메모리 확장 필요성)을 식별할 수 있게 하여 기준 설정 대비 최대 3.1배의 성능 향상을 달성한다.

ABSTRACT

Modern Deep Learning (DL) models have grown to sizes requiring massive clusters of specialized, high-end nodes to train. Designing such clusters to maximize both performance and utilization--to amortize their steep cost--is a challenging task requiring careful balance of compute, memory, and network resources. Moreover, a plethora of each model's tuning knobs drastically affect the performance, with optimal values often depending on the underlying cluster's characteristics, which necessitates a complex cluster-workload co-design process. To facilitate the design space exploration of such massive DL training clusters, we introduce COMET, a holistic cluster design methodology and workflow to jointly study the impact of parallelization strategies and key cluster resource provisioning on the performance of distributed DL training. We develop a step-by-step process to establish a reusable and flexible methodology, and demonstrate its application with case studies of training large models on cluster configurations of variable compute, memory, and network resources. Our case studies demonstrate COMET's utility in identifying promising architectural optimization directions and guiding system designers in configuring key model and cluster parameters. To illustrate, cluster configuration comparisons identify performance differences of up to 7.7x and highlight performance optimization opportunities of up to 1.4x when employing memory expansion as an optimization technique.

연구 동기 및 목표

• 성능과 활용도를 극대화하는 고비용 대규모 분산 딥러닝 클러스터 설계의 과제를 해결한다.
• 계산, 메모리, 네트워크 등의 클러스터 하드웨어 특성과 함께 모델 병렬화 전략을 공동 설계하는 복잡성을 극복한다.
• 병렬화 정도와 클러스터 자원 구성에 관한 광범위한 설계공간을 신속하게 탐색할 수 있도록 한다.
• CXL 기반 메모리 계층과 같은 신규 기술의 영향을 고려한 시스템 아키텍트를 위한 실질적인 통찰을 제공한다.
• 딥러닝 엔지니어가 최적의 훈련 전략을 선택하고, 클러스터 설계자가 자원을 효율적으로 할당할 수 있도록 안내한다.

제안 방법

• Transformer-1T 등의 대규모 모델을 레이어로 분해하여 다양한 병렬화 전략 하에서의 훈련 동작을 분석한다.
• 핵심 시스템 파라미터(정점 성능, 메모리 용량, 메모리 대역폭, 온칩 SRAM, 네트워크 대역폭)를 사용해 클러스터 워크로드를 모델링한다.
• 다양한 수준의 데이터 병렬화(DP)와 모델 병렬화(MP)에서 훈련 성능과 메모리 요구사항을 평가하기 위한 단계별 워크플로우를 구현한다.
• TPU v4, Dojo D1 등 다양한 클러스터 구성 간의 정규화된 런타임 비교를 통해 성능 저하 요인과 최적의 구성 요소를 식별한다.
• 집합적 통신 패턴(예: 논리적 루프)과 네트워크 토폴로지(3D 토러스, 단일 수준 스위치)를 시뮬레이션하여 통신 오버헤드를 평가한다.
• 메모리 확장 기법(예: 1.6배 용량 증가)을 통합하여 메모리 내 훈련의 가능성을 평가하고 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 클러스터 아키텍처에서 데이터 병렬화와 모델 병렬화 정도의 변화가 훈련 성능 및 메모리 활용도에 미치는 영향은 무엇인가?
• RQ2 1조 파라미터의 트랜스포머 모델을 효율적으로 훈련시키기 위해 계산, 메모리, 네트워크 자원 간 최적의 균형은 무엇인가?
• RQ3 한 노드당 메모리 용량이 제한된 클러스터에서 메모리 확장 기법(예: 용량 증가)이 훈련 성능에 크게 기여하는 구성은 어떤가?
• RQ4 3D 토러스와 단일 스위치 등의 다양한 클러스터 토폴로지와 네트워크 대역폭은 통신 오버헤드와 전체 훈련 시간에 어떤 영향을 미치는가?
• RQ5 CXL 기반 계층 구조와 같은 신규 메모리 기술은 대규모 분산 훈련 환경에서 성능 향상에 어느 정도 기여할 수 있는가?

주요 결과

• Dojo 클러스터는 MP8_DP8를 사용하여 DGX A100 기준 설정 대비 3.1배 빠른 성능을 달성하며, 최고 성능을 내는 DGX 구성조차도 뛰어넘는다.
• TPU v4 클러스터에서는 낙관형 성능 곡선을 보이며 최적의 구성은 MP4_DP1024이지만, 노드당 메모리 용량이 제한되어 있어 MP256_DP16를 초과하면 성능이 급격히 저하된다.
• TPU 클러스터에서 노드당 메모리 용량을 1.6배로 증가시키면 MP64_DP64 훈련이 가능해지며, 이는 MP256_DP16 대비 3배 빠른 성능을 보여 메모리 확장의 높은 영향력을 입증한다.
• Dojo 클러스터는 높은 정점 성능과 큰 온칩 SRAM 덕분에 DP 수준 증가에 따라 훈련 시간에 성능 저하가 발생하지 않아 낙관형 곡선을 보이지 않는다.
• 메모리 용량은 메모리 용량이 제한된 클러스터에서 핵심적인 제약 요소이며, 더 높은 병렬화 수준과 통신 오버헤드 감소를 위해 메모리 확장이 필수적이다.
• 이 방법론은 메모리 용량이 부족할 경우 통신 패턴이 훈련 시간을 지배함을 성공적으로 규명하였으며, 특히 고주기의 노드 간 통신 빈도를 가지는 모델 병렬 환경에서 두드러진다.