[논문 리뷰] SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient

Max Ryabinin, Tim Dettmers외 2명|arXiv (Cornell University)|2023. 01. 27.

Advanced Neural Network Applications인용 수 6

한 줄 요약

SWARM parallelism는 비신뢰성 있고 이질적이며 대역폭이 낮은 환경을 고려해 설계된 탈중앙화되고 장애 내성적인 모델 병렬 학습 알고리즘입니다. 통신 오버헤드를 줄이기 위해 확률적으로 연결된 동적 리밸런싱 파이프라인을 사용하며, 200 Mb/s 미만의 네트워크 대역폭에서도 전이 모델을 10억 파라미터 규모로 실행할 수 있도록 해주며, 제곱-세제곱 법칙과 8비트 양자화를 통해 높은 처리량과 비용 효율성을 달성합니다.

ABSTRACT

Many deep learning applications benefit from using large models with billions of parameters. Training these models is notoriously expensive due to the need for specialized HPC clusters. In this work, we consider alternative setups for training large models: using cheap "preemptible" instances or pooling existing resources from multiple regions. We analyze the performance of existing model-parallel algorithms in these conditions and find configurations where training larger models becomes less communication-intensive. Based on these findings, we propose SWARM parallelism, a model-parallel training algorithm designed for poorly connected, heterogeneous and unreliable devices. SWARM creates temporary randomized pipelines between nodes that are rebalanced in case of failure. We empirically validate our findings and compare SWARM parallelism with existing large-scale training approaches. Finally, we combine our insights with compression strategies to train a large Transformer language model with 1B shared parameters (approximately 13B before sharing) on preemptible T4 GPUs with less than 200Mb/s network.

연구 동기 및 목표

• 예비 클라우드 인스턴스나 풀링된 이질적 자원과 같은 저비용이고 신뢰성 없는 환경에서 대규모 모델 학습을 가능하게 하기 위해.
• 기존의 모델 병렬 알고리즘이 장비 장애, 네트워크 불안정성, 이질적 하드웨어를 다루는 데에 한계가 있음을 해결하기 위해.
• 더 큰 모델에서 계산량 대비 통신량의 비율이 감소하는 제곱-세제곱 법칙을 활용해 분산 학습에서의 통신 오버헤드를 줄이기 위해.
• 저대역폭이며 신뢰성이 떨어지는 장치에서도 빌리언 파라미터 모델까지 확장 가능한 탈중앙화되고 장애 내성적인 학습 프레임워크를 개발하기 위해.

제안 방법

• SWARM parallelism는 노드 간에 임시적이고 무작위로 연결된 파이프라인을 사용하여 장애 내성성과 동적 로드 밸런싱을 달성합니다.
• 장치 성능과 네트워크 지연 시간의 변화에 대응하기 위해 파이프라인 스테이지들을 주기적으로 리밸런싱합니다.
• 중앙 집중식 코ordinatior에 의존하지 않는 탈중앙화된 알고리즘으로, 안정적이고 저지연성인 피어를 우선순위로 통신 대상으로 선정합니다.
• 활성화 값의 통신 크기를 절반으로 줄이기 위해 8비트 블록 단위의 양자화를 통합합니다. 이는 정확도에 큰 영향을 주지 않습니다.
• 압축에 유리한 아키텍처(예: maxout, 버블넥)를 적용하여 추가로 대역폭 요구량을 줄입니다.
• 제곱-세제곱 법칙을 활용하여, 모델 크기가 커질수록 계산량이 통신량보다 더 빠르게 증가함에 따라 상대적인 통신 비용이 감소합니다.

실험 결과

연구 질문

• RQ1 파이프라인 병렬 환경에서 더 큰 모델을 학습시키면 통신 오버헤드의 상대적 비율이 감소하는가? 기존의 직관을 뒤집는가?
• RQ2 탈중앙화되고 이질적인 환경에서 장비 장애와 네트워크 불안정성에 강건한 모델 병렬 학습은 어떻게 달성할 수 있는가?
• RQ3 학습 처리량이나 모델 품질을 희생시키지 않고 통신 대역폭을 얼마나 줄일 수 있는가?
• RQ4 SWARM parallelism는 200 Mb/s 미만의 네트워크 연결을 가진 저비용 예비 GPU에서 높은 학습 효율성을 달성할 수 있는가?
• RQ5 SWARM, 압축, 제곱-세제곱 법칙의 조합이 빌리언 파라미터 모델의 비용 효율적인 학습을 어떻게 가능하게 하는가?

주요 결과

• SWARM parallelism는 200 Mb/s 미만의 네트워크 대역폭에서도 예비 T4 GPU에서 1B 파라미터의 공유 파라미터를 가진 트랜스포머 모델을 학습시킬 수 있습니다.
• 알고리즘은 표준 동기식 데이터 병렬 학습과 유사한 학습 처리량을 달성하며, 무작위 시드 변동 수준에서 수렴 곡선이 일치합니다.
• 8비트 양자화를 사용하면 활성화 값의 통신량이 약 절반으로 줄어들며, 정확도 저하가 거의 발생하지 않습니다.
• 32개의 예비 T4 GPU에서 ALBERT-Large 모델을 학습한 총 비용은 497.80달러로, 신뢰성 있는 V100 GPU를 사용한 경우보다 64% 낮았습니다.
• 제곱-세제곱 법칙 덕분에 더 큰 모델일수록 상대적인 통신 비용이 감소하여 저대역폭 환경에서도 학습이 가능해집니다.
• 압축에 유리한 아키텍처(예: maxout)는 압축 비율이 높을수록 더 큰 대역폭 절감 효과를 보이며, 내분포 및 외분포 성능에 영향을 주지 않습니다.