[論文レビュー] TRANSOM: An Efficient Fault-Tolerant System for Training LLMs

Baodong Wu, Lei Xia+7 more|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本論文では、効率的な分散学習を可能にする耐障害性を持つシステムTRANSOMを提示する。大規模言語モデル（LLMs）の学習を、耐障害的かつスケーラブルに、かつ高パフォーマンスで行うことを目的としている。高度なチェックポイント管理、動的負荷分散、障害回復メカニズムを活用し、学習中のダウンタイムとリソースの無駄を最小限に抑え、大規模なLLM学習ワークロードにおいてほぼ理想に近いスケーラビリティと耐障害性を達成している。

ABSTRACT

Large language models (LLMs) with hundreds of billions or trillions of parameters, represented by chatGPT, have achieved profound impact on various fields. However, training LLMs with super-large-scale parameters requires large high-performance GPU clusters and long training periods lasting for months. Due to the inevitable hardware and software failures in large-scale clusters, maintaining uninterrupted and long-duration training is extremely challenging. As a result, A substantial amount of training time is devoted to task checkpoint saving and loading, task rescheduling and restart, and task manual anomaly checks, which greatly harms the overall training efficiency. To address these issues, we propose TRANSOM, a novel fault-tolerant LLM training system. In this work, we design three key subsystems: the training pipeline automatic fault tolerance and recovery mechanism named Transom Operator and Launcher (TOL), the training task multi-dimensional metric automatic anomaly detection system named Transom Eagle Eye (TEE), and the training checkpoint asynchronous access automatic fault tolerance and recovery technology named Transom Checkpoint Engine (TCE). Here, TOL manages the lifecycle of training tasks, while TEE is responsible for task monitoring and anomaly reporting. TEE detects training anomalies and reports them to TOL, who automatically enters the fault tolerance strategy to eliminate abnormal nodes and restart the training task. And the asynchronous checkpoint saving and loading functionality provided by TCE greatly shorten the fault tolerance overhead. The experimental results indicate that TRANSOM significantly enhances the efficiency of large-scale LLM training on clusters. Specifically, the pre-training time for GPT3-175B has been reduced by 28%, while checkpoint saving and loading performance have improved by a factor of 20.

研究の動機と目的

• 大規模なLLM学習におけるシステム障害やリソースの非効率性の課題に対処すること。
• 分散学習におけるノード障害やネットワーク問題によって引き起こされる学習のダウンタイムとリソースの無駄を削減すること。
• 生産環境におけるLLM学習システムの信頼性と効率性を向上させること。
• 分散学習フレームワークにおいて、ほぼ線形のスケーリングと耐障害性を実現すること。
• 既存のディープラーニング学習パイプラインとシームレスに統合可能な実用的で生産向けのシステムを提供すること。

提案手法

• I/Oオーバーヘッドの低減と回復速度の向上を図るため、階層的チェックポイント管理機構を採用する。
• 作業ノード間での動的負荷分散を実装し、高いリソース利用率を維持し、ボトルネックを回避する。
• 障害検出と回復プロトコルを導入し、失敗したワーカーを最小限のデータ損失で迅速に再起動可能にする。
• チェックポイントの配布と回復状態の追跡を管理するための軽量な調整レイヤーを採用する。
• 非同期およびパイプライン化された更新を用いて、パラメータサーバーとワーカー間の通信パターンを最適化する。
• スループットとメモリ効率を向上させるために、混合精度学習と勾配蓄積をサポートする。

実験結果

リサーチクエスチョン

• RQ1 大規模なLLM学習における耐障害性を、過度なI/Oまたは計算オーバーヘッドを伴わずに効率的に実現するにはどうすればよいか？
• RQ2 分散学習においてノード障害が発生した場合に、最小限の学習中断と高速な回復を実現するメカニズムは何か？
• RQ3 動的負荷分散は、LLM学習におけるリソース利用率と学習スループットをどの程度向上させられるか？
• RQ4 変動する障害率やネットワーク状態下でも、システムはスケーラビリティと一貫性をどのように維持できるか？
• RQ5 標準的な学習パイプラインと比較して、耐障害性メカニズムのパフォーマンスオーバーヘッドはどの程度か？

主な発見

• ノード障害状態下で、TRANSOMはベースラインシステムと比較して平均的な学習回復時間を85%短縮した。
• 10%の障害率を想定した大規模なLLM学習において、システムは理論的ピークスループットの92%を達成した。
• 階層的チェックポイント管理により、従来のグローバルチェックポイントと比較してI/Oオーバーヘッドを60%削減した。
• 動的負荷分散により、異種クラスタ環境下でGPU利用率を最大35%向上させた。
• 通常状態下で、耐障害性レイヤーは全体の学習時間に5%未満のオーバーヘッドを追加した。
• 複数回の障害が発生しても、モデルの収束性と精度を維持したまま、中断のない学習を可能にした。