[논문 리뷰] 2.5-dimensional distributed model training.

Boxiang Wang, Qifan Xu외 2명|arXiv (Cornell University)|2021. 05. 30.

Topic Modeling참고 문헌 9인용 수 8

한 줄 요약

이 논문은 대규모 언어 모델을 위한 2.5차원 분산 텐서 병렬 처리 방법인 SUMMA2.5-LM를 제안한다. 이 방법은 SUMMA와 2.5D 행렬 곱셈 원리를 융합하여 통신 오버헤드를 감소시킨다. 약한 스케일링에서 2D [8,8,1]에 비해 1.45배 높은 효율성을 달성하며, 대규모 클러스터에서의 스케일링 효율성을 향상시킨다.

ABSTRACT

Data parallelism does a good job in speeding up the training. However, when it comes to the case when the memory of a single device can not host a whole model, data parallelism would not have the chance to do anything. Another option is to split the model by operator, or horizontally. Megatron-LM introduced a 1-Dimensional distributed method to use GPUs to speed up the training process. Optimus is a 2D solution for distributed tensor parallelism. However, these methods have a high communication overhead and a low scaling efficiency on large-scale computing clusters. To solve this problem, we investigate the 2.5-Dimensional distributed tensor parallelism.Introduced by Solomonik et al., 2.5-Dimensional Matrix Multiplication developed an effective method to perform multiple Cannon's algorithm at the same time to increase the efficiency. With many restrictions of Cannon's Algorithm and a huge amount of shift operation, we need to invent a new method of 2.5-dimensional matrix multiplication to enhance the performance. Absorbing the essence from both SUMMA and 2.5-Dimensional Matrix Multiplication, we introduced SUMMA2.5-LM for language models to overcome the abundance of unnecessary transmission loss result from the increasing size of language model parallelism. Compared to previous 1D and 2D model parallelization of language models, our SUMMA2.5-LM managed to reduce the transmission cost on each layer, which could get a 1.45X efficiency according to our weak scaling result between 2.5-D [4,4,4] arrangement and 2-D [8,8,1] arrangement.

연구 동기 및 목표

• 대규모 언어 모델을 위한 기존 1D 및 2D 모델 병렬 처리 방법에서 높은 통신 오버헤드와 낮은 스케일링 효율성 문제를 해결하기 위해.
• 모델 크기가 단일 장치 메모리 용량을 초과할 경우 모델 병렬 처리의 전송 비용을 줄이기 위해.
• 불필요한 데이터 이동을 최소화하면서도 높은 계산 효율성을 유지하는 새로운 2.5D 행렬 곱셈 기법을 설계하기 위해.
• SUMMA와 2.5D 행렬 곱셈의 혼합 통신 패턴을 활용하여 대규모 컴퓨팅 클러스터에서의 스케일링 효율성을 향상시키기 위해.

제안 방법

• 2.5D 행렬 곱셈 원리를 모델 병렬 처리에 적용하여, 여러 개의 Cannon 유사 알고리즘을 동시에 실행할 수 있도록 한다.
• 기존 Cannon 알고리즘에 비해 이동 연산과 통신 병목 현상을 줄인 새로운 2.5D 행렬 곱셈 방법을 도입한다.
• SUMMA(확장 가능한 통신)의 강점과 2.5D 행렬 곱셈(부하 균형 및 낮은 데이터 이동)을 융합한 통합 프레임워크를 구성한다.
• 장치 간 3차원 텐서 타일링 전략을 사용하며, 2.5D에서는 [4,4,4], 2D에서는 [8,8,1]의 차원을 적용하여 데이터 분포 최적화 및 중복 전송 감소를 도모한다.
• 공유된 중간 결과를 층 간에 재사용함으로써 중복 전송을 줄이는 통신 최적화 파이프라인을 설계한다.
• SUMMA와 2.5D 행렬 곱셈의 장점을 접목한 하이브리드 통신 패턴을 도입하여, 순방향 및 역방향 전파 중 GPU 간의 유휴 시간을 최소화하고 부하를 균형 있게 분배한다.

실험 결과

연구 질문

• RQ1 2.5D 텐서 병렬 처리는 1D 및 2D 방법에 비해 대규모 언어 모델 훈련에서 통신 오버헤드를 어떻게 줄일 수 있는가?
• RQ2 이동 연산과 중복 전송을 최소화함으로써 분산 모델 훈련에서 스케일링 효율성에 어떤 영향을 미치는가?
• RQ3 SUMMA와 2.5D 행렬 곱셈을 융합한 하이브리드 접근 방식이 기존 2D 및 1D 병렬 처리 전략에 비해 통신 비용과 스피드업 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 약한 스케일링 효율성에서 2.5D [4,4,4] 배열은 2D [8,8,1] 배열에 비해 어떻게 비교되는가?
• RQ5 제안된 SUMMA2.5-LM 방법을 대규모 언어 모델에 적용했을 때 기대할 수 있는 훈련 효율성 향상은 어느 정도인가?

주요 결과

• 제안된 SUMMA2.5-LM 방법은 모델 병렬 처리에서 데이터 이동 패턴을 최적화함으로써 레이어당 전송 비용을 감소시킨다.
• 약한 스케일링 실험에서 2.5D [4,4,4] 배열은 2D [8,8,1] 배열에 비해 1.45배 높은 효율성을 달성한다.
• 불필요한 전송을 최소화함으로써 SUMMA2.5-LM는 대규모 컴퓨팅 클러스터에서의 스케일링 효율성을 향상시킨다.
• 이 방법은 기존 1D 및 2D 모델 병렬 처리 방식에서 흔히 발생하는 통신 병목 현상을 효과적으로 완화한다.
• SUMMA2.5-LM의 하이브리드 설계는 계산 부하를 균형 있게 분배하고 장치 간 유휴 시간을 줄이는 데 성공한다.
• 새로운 2.5D 행렬 곱셈 기법은 Cannon 알고리즘에 비해 이동 연산과 통신 오버헤드를 감소시킨다.