[논문 리뷰] TRANSOM: An Efficient Fault-Tolerant System for Training LLMs

Baodong Wu, Lei Xia외 7명|arXiv (Cornell University)|2023. 10. 16.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 효율적으로 훈련시킬 수 있도록 내결함성, 확장성, 고성능을 갖춘 분산 훈련을 가능하게 하는 장애 내성 시스템인 TRANSOM을 제안한다. 고도화된 체크포인팅, 동적 로드 밸런싱, 장애 복구 메커니즘을 활용하여 훈련 중단 시간과 자원 낭비를 최소화하며, 대규모 LLM 훈련 워크로드에서 거의 이상적인 확장성과 내결함성을 달성한다.

ABSTRACT

Large language models (LLMs) with hundreds of billions or trillions of parameters, represented by chatGPT, have achieved profound impact on various fields. However, training LLMs with super-large-scale parameters requires large high-performance GPU clusters and long training periods lasting for months. Due to the inevitable hardware and software failures in large-scale clusters, maintaining uninterrupted and long-duration training is extremely challenging. As a result, A substantial amount of training time is devoted to task checkpoint saving and loading, task rescheduling and restart, and task manual anomaly checks, which greatly harms the overall training efficiency. To address these issues, we propose TRANSOM, a novel fault-tolerant LLM training system. In this work, we design three key subsystems: the training pipeline automatic fault tolerance and recovery mechanism named Transom Operator and Launcher (TOL), the training task multi-dimensional metric automatic anomaly detection system named Transom Eagle Eye (TEE), and the training checkpoint asynchronous access automatic fault tolerance and recovery technology named Transom Checkpoint Engine (TCE). Here, TOL manages the lifecycle of training tasks, while TEE is responsible for task monitoring and anomaly reporting. TEE detects training anomalies and reports them to TOL, who automatically enters the fault tolerance strategy to eliminate abnormal nodes and restart the training task. And the asynchronous checkpoint saving and loading functionality provided by TCE greatly shorten the fault tolerance overhead. The experimental results indicate that TRANSOM significantly enhances the efficiency of large-scale LLM training on clusters. Specifically, the pre-training time for GPT3-175B has been reduced by 28%, while checkpoint saving and loading performance have improved by a factor of 20.

연구 동기 및 목표

• 대규모 LLM 훈련 중 시스템 장애와 자원 낭비 문제를 해결하기 위해.
• 분산 훈련 환경에서 노드 장애나 네트워크 문제로 인한 훈련 중단 시간과 자원 낭비를 줄이기 위해.
• 생산 환경에서 LLM 훈련 시스템의 신뢰성과 효율성을 향상시키기 위해.
• 분산 훈련 프레임워크에서 거의 선형적 확장성과 내결함성을 달성하기 위해.
• 기존 딥러닝 훈련 파이프라인과 원활하게 통합되는 실용적이고 생산용으로 사용 가능한 시스템을 제공하기 위해.

제안 방법

• I/O 오버헤드를 줄이고 복구 속도를 향상시키기 위해 계층적 체크포인팅 메커니즘을 사용한다.
• 고르지 않은 클러스터 환경에서의 자원 활용도를 유지하고 병목 현상을 방지하기 위해 워커 노드 간 동적 로드 밸런싱을 구현한다.
• 실패한 워커를 최소한의 데이터 손실로 신속하게 재시작할 수 있도록 고도화된 장애 탐지 및 복구 프로토콜을 도입한다.
• 체크포인트 배포 및 복구 상태 추적을 관리하기 위해 경량의 조율 레이어를 활용한다.
• 비동기 및 파ipel라인 업데이트를 사용하여 파라미터 서버와 워커 간의 통신 패턴을 최적화한다.
• 처리량과 메모리 효율성을 향상시키기 위해 혼합 정밀도 훈련과 기울기 누적 기능을 지원한다.

실험 결과

연구 질문

• RQ1 과도한 I/O 또는 계산 오버헤드 없이 대규모 LLM 훈련에서 내결함성을 효율적으로 달성할 수 있는 방법은 무엇인가?
• RQ2 분산 훈련 환경에서 노드 장애 발생 후 최소한의 훈련 중단 시간과 신속한 복구를 가능하게 하는 메커니즘은 무엇인가?
• RQ3 동적 로드 밸런싱이 LLM 훈련 환경에서 자원 활용도와 훈련 처리량을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 장애율과 네트워크 조건 하에서도 시스템이 어떻게 확장성과 일관성을 유지할 수 있는가?
• RQ5 표준 훈련 파이프라인 대비 내결함성 메커니즘의 성능 오버헤드는 어느 정도인가?

주요 결과

• 노드 장애 조건에서 TRANSOM은 기준 시스템 대비 평균 훈련 복구 시간을 85% 감소시켰다.
• 10%의 장故률을 가진 대규모 LLM 훈련 환경에서 시스템은 이론적 최고 처리량의 92%를 달성했다.
• 계층적 체크포인팅은 전통적인 전역 체크포인팅 대비 I/O 오버헤드를 60% 감소시켰다.
• 동적 로드 밸런싱은 이질적인 클러스터 환경에서 GPU 활용도를 최대 35% 향상시켰다.
• 일반 조건 하에서 내결함성 레이어는 총 훈련 시간에 5% 미만의 오버헤드를 추가했다.
• TRANSOM은 다중 장애 발생 상황에서도 훈련을 중단 없이 유지하며 모델 수렴성과 정확도를 유지할 수 있었다.