[논문 리뷰] Unicron: Economizing Self-Healing LLM Training at Scale

Tao He, Xue Li외 5명|arXiv (Cornell University)|2023. 12. 30.

Topic Modeling인용 수 5

한 줄 요약

Unicron은 대규모 LLM 훈련을 위한 분산 워크로드 관리자로, 내부 오류 감지, 동적 비용 인식 재구성, 효율적인 상태 전환 전략을 통해 장애 관련 비용을 최소화한다. GPU 클러스터에서 다수의 동시 작업을 병행 처리할 때 복구를 최적화하여 기존 최고 수준의 방법보다 최대 1.9배 높은 훈련 효율성을 달성한다.

ABSTRACT

Training large-scale language models is increasingly critical in various domains, but it is hindered by frequent failures, leading to significant time and economic costs. Current failure recovery methods in cloud-based settings inadequately address the diverse and complex scenarios that arise, focusing narrowly on erasing downtime for individual tasks without considering the overall cost impact on a cluster. We introduce Unicron, a workload manager designed for efficient self-healing in large-scale language model training. Unicron optimizes the training process by minimizing failure-related costs across multiple concurrent tasks within a cluster. Its key features include in-band error detection for real-time error identification without extra overhead, a dynamic cost-aware plan generation mechanism for optimal reconfiguration, and an efficient transition strategy to reduce downtime during state changes. Deployed on a 128-GPU distributed cluster, Unicron demonstrates up to a 1.9x improvement in training efficiency over state-of-the-art methods, significantly reducing failure recovery costs and enhancing the reliability of large-scale language model training.

연구 동기 및 목표

• 클라우드 플랫폼에서 대규모 LLM 훈련 시 고비용 및 고시간 장애의 비용 문제를 해결하기 위해.
• 기존 장애 복구 방법이 개별 작업 복구에만 집중하며 클러스터 전체의 비용 영향을 고려하지 않는 한계를 극복하기 위해.
• 다수의 동시 훈련 작업 전반에 걸쳐 총 장애 관련 비용을 최소화하는 통합 자가 치유 시스템을 설계하기 위해.
• 다양한 장애 유형에 대응하여 훈련 워크로드를 효율적이고 동적으로 재구성함으로써 정지 시간과 자원 낭비를 줄이기 위해.
• 높은 장애 빈도와 복잡한 장애 시나리오 하에서도 훈련 효율성과 처리량에 있어 뚜렷한 향상을 입증하기 위해.

제안 방법

• Unicron은 추가 모니터링 오버헤드 없이 실시간으로 장애를 탐지할 수 있는 인바운드 오류 감지 기법을 사용하여 즉각적인 대응을 가능하게 한다.
• 모든 영향을 받는 작업을 고려해 재구성 옵션을 평가하는 동적 비용 인식 계획 생성 메커니즘을 사용하여 총 복구 비용을 최소화한다.
• 노드 드레aining 또는 추가 시 전환 전략을 효율적으로 구현하여 정지 시간을 최소화하고 지속적인 훈련에 대한 영향을 최소화한다.
• Unicron은 Megatron-LM 위에 구축되어 기존 분산 훈련 프레임워크와 통합되어 기존의 높은 기준 효율성을 유지하면서도 자가 치유 기능을 추가한다.
• 기존 기준 대비 직접 영향을 받는 작업만 재구성하는 것과 달리, 유익한 경우 다수의 작업을 동시에 재구성할 수 있다.
• 시스템은 실제 장애 트레이스와 다양한 장애 빈도를 가진 합성 워크로드를 사용해 평가되었으며, 20배 높은 장애 빈도 시나리오를 포함한다.

실험 결과

연구 질문

• RQ1 다수의 동시 작업을 고려할 때 개별 작업 복구가 아닌 총 비용 최소화를 위한 대규모 LLM 훈련의 장애 복구 최적화 방법은 무엇인가?
• RQ2 외부 모니터링 없이도 분산 훈련 클러스터에서 실시간으로 저오버헤드 오류 감지 기능을 구현할 수 있는 메커니즘은 무엇인가?
• RQ3 다수의 작업에 대해 동적이고 비용 인식 재구성을 통해 개별 작업 복구 전략에 비해 전체 훈련 효율성이 어떻게 향상되는가?
• RQ4 자가 치유 시스템은 높은 빈도의 장애 조건에서도 얼마나 높은 처리량을 유지할 수 있는가?
• RQ5 기존의 고장 내성 시스템에 비해 실세계 LLM 훈련 워크로드에서 통합 자가 치유 접근법의 성능 향상은 어느 정도인가?

주요 결과

• Unicron는 높은 장애 빈도 조건에서 누적 WAF (Workload-Aware FLOPs) 측정 기준으로 기존 최고 수준의 방법보다 최대 1.9배 높은 훈련 효율성을 달성한다.
• 트레이스-a(기본 장애 빈도) 조건에서 Unicron는 Megatron보다 1.2배, Bamboo보다 4.6배, Oobleck보다 3.7배, Varuna보다 4.8배 높은 누적 WAF를 기록한다.
• 트레이스-b(20배 높은 장애 빈도) 조건에서 Unicron는 Megatron보다 1.9배, Bamboo보다 4.8배, Oobleck보다 3.8배, Varuna보다 5.8배 높은 성능을 보인다.
• 다중 장애 발생 시에도 복구 단계를 최소화하고 작업 간 협업 재구성을 가능하게 하여 정지 시간을 크게 줄인다.
• Unicron는 기존 Megatron의 최적화 기능을 활용하면서 지능적인 자가 치유 기능을 추가함으로써 높은 효율성을 유지함을 입증하여, 고장 내성과 훈련 효율성이 공존할 수 있음을 보여준다.
• 결과적으로, 비용 인식 복구가 없는 시스템에서는 장애로 인한 처리량 손실이 3배 이상 발생할 수 있음을 시사하며, 통합 최적화의 중요성을 입증한다.