[논문 리뷰] Efficient Training of Large Language Models on Distributed Infrastructures: A Survey

Jiangfei Duan, Shuo Zhang외 14명|arXiv (Cornell University)|2024. 07. 29.

Topic Modeling인용 수 4

한 줄 요약

이 종합적 서베이는 대규모 언어 모델(Large Language Models, LLMs)을 위한 분산 학습 시스템에 대해 인프라, 병렬 처리, 최적화 기법을 포함해 확장성, 효율성, 신뢰성 측면에서 종합적인 분석을 제공한다. AI 가속기, 고대역폭 네트워킹, 메모리 및 통신 최적화, 장애 내성 기술의 발전을 통합적으로 정리하며, 장애 복구를 위한 라이브 마이그레이션과 모듈 중복성 기반 기술을 강조한다. 향후 대규모 LLM 학습을 위한 핵심 기반 기술로 광전자 통합 기술의 가능성도 제안한다.

ABSTRACT

Large Language Models (LLMs) like GPT and LLaMA are revolutionizing the AI industry with their sophisticated capabilities. Training these models requires vast GPU clusters and significant computing time, posing major challenges in terms of scalability, efficiency, and reliability. This survey explores recent advancements in training systems for LLMs, including innovations in training infrastructure with AI accelerators, networking, storage, and scheduling. Additionally, the survey covers parallelism strategies, as well as optimizations for computation, communication, and memory in distributed LLM training. It also includes approaches of maintaining system reliability over extended training periods. By examining current innovations and future directions, this survey aims to provide valuable insights towards improving LLM training systems and tackling ongoing challenges. Furthermore, traditional digital circuit-based computing systems face significant constraints in meeting the computational demands of LLMs, highlighting the need for innovative solutions such as optical computing and optical networks.

연구 동기 및 목표

• GPT 및 LLaMA와 같은 대규모 LLM 학습 시 주어는 수주에서 수개월에 이르는 시간이 소요되는 1만 대 이상의 GPU에서의 도전 과제를 해결한다.
• 분산 LLM 학습에서의 주요 병목 현상인 계산 비효율성, 통신 오버헤드, 메모리 압박, 시스템의 신뢰성 저하를 규명한다.
• LLM 워크로드에 특화된 AI 가속기, 고성능 네트워킹, 스토리지 시스템을 포함한 학습 인프라의 발전을 체계적으로 검토한다.
• 데이터 병렬, 텐서 병렬, 파이프라인 병렬과 같은 병렬 처리 전략과 그에 따른 시스템 효율성 및 확장성에 미치는 영향을 분석한다.
• 계산, 통신, 메모리, 장애 내성 최적화 기법을 탐구하여 모델 FLOPs 활용도(MFU) 향상과 학습의 내성 강화를 도모한다.

제안 방법

• GPU 클러스터, 광학 인터커넥트, 확장 가능한 스토리지 시스템을 포함한 최근 분산 LLM 학습 인프라의 혁신을 서베이하고 분류한다.
• 데이터 병렬, 텐서 병렬, 파이프라인 병렬과 같은 병렬 처리 기법을 검토하며, 통신, 메모리, 로드 밸런싱 측면에서의 상호 상충 관계를 분석한다.
• 커널 융합, 혼합 정밀도 학습, 하드웨어 인식 연산자 스케줄링과 같은 계산 최적화 기법을 조사하여 MFU를 향상시킨다.
• 활성화 체크포인팅, 오프로딩, 파라미터 정밀도 감소와 같은 메모리 최적화 기법을 분석하여 GPU 메모리 부담을 줄인다.
• 기울기 압축, all-reduce 최적화, 토폴로지 인식 통신 스케줄링과 같은 통신 최적화 전략을 검토한다.
• 라이브 마이그레이션과 모듈 중복성(예: Parcae, Oobleck, Bamboo, SlipStream, SWARM)을 포함한 장애 내성 메커니즘을 평가하여 체크포인트 재로드 없이도 신속한 장애 복구를 가능하게 한다.

Figure 1 : Overall structure of this survey.

실험 결과

연구 질문

• RQ1 수천 개의 GPU에서 고도로 확장 가능한 분산 학습 시스템은 어떻게 설계되어야 하며, 동시에 모델 정확도를 유지할 수 있는가?
• RQ2 대규모 LLM 학습에서 계산, 통신, 메모리 최적화를 통해 모델 FLOPs 활용도(MFU)를 극대화하기 위한 가장 효과적인 전략은 무엇인가?
• RQ3 하드웨어, 네트워크, 소프트웨어 장애가 발생할 수 있는 장기간의 학습 기간(수주에서 수개월) 동안 시스템의 신뢰성을 어떻게 유지할 수 있는가?
• RQ4 광학 컴퓨팅과 광학 인터커넥트와 같은 신기술이 기존 디지털 회로 기반 시스템의 한계를 극복하는 데 어떤 역할을 할 수 있는가?
• RQ5 라이브 마이그레이션과 모듈 중복성은 기존 체크포인트 기반 복구 방식에 비해 LLM 학습에서 장애 복구를 얼마나 더 신속하게 가능하게 하는가?

주요 결과

• 16,384개의 H100 GPU에서 LLaMA-3을 학습하는 데 약 54일이 소요되며, 이는 극도로 높은 계산 요구량과 효율적인 분산 시스템의 필요성을 시사한다.
• 모델 FLOPs 활용도(MFU)는 효율성의 핵심 지표이며, 계산, 통신, 메모리 최적화 기법이 이를 향상시키는 데 결정적이다.
• Parcae와 Oobleck에서 사용하는 라이브 마이그레이션 기법은 기존 모델 복제본을 활용해 동적으로 학습 파이프라인을 재구성함으로써 신속한 복구를 가능하게 한다.
• Bamboo와 SlipStream과 같은 모듈 중복 기반 접근법은 고장 발생 시 계산을 복구된 모듈로 라우팅함으로써 학습의 중단 없이 지속 가능하게 한다.
• SWARM는 부가적 계산과 인스턴스 마이그레이션을 결합하여 이질적이고 신뢰성이 떨어지는 클러스터 환경에서도 장애 내성을 향상시키며, 실세계 구현에서의 유연성을 제공한다.
• 광학 컴퓨팅과 광학 인터커넥트(예: TopoOpt, TPUv4)는 통신 효율성을 향상시키고, 무어의 법칙의 한계를 초월한 미래 규모의 LLM 학습을 가능하게 할 잠재력을 보이고 있다.

Figure 2 : A typical Transformer layer contains an Attention block and a Feed-Forward Network (FFN) block.