[論文レビュー] Check-N-Run: A Checkpointing System for Training Recommendation Models.

Assaf Eisenman, Kiran Kumar Matam+6 more|arXiv (Cornell University)|Oct 17, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 6

ひとこと要約

Check-N-Run は、大規模な推薦モデルの学習に適したスケーラブルなチェックポイント管理システムであり、増分チェックポイント管理とモデル量子化を組み合わせることで、書き込み帯域幅を 6–17 倍、ストレージ容量を 2.5–8 倍削減し、チェックポイント管理の効率を著しく向上させ、総所有コストを低減するが、学習精度に影響を与えない。

ABSTRACT

Checkpoints play an important role in training recommendation systems at scale. They are important for many use cases, including failure recovery to ensure rapid training progress, and online training to improve inference prediction accuracy. Checkpoints are typically written to remote, persistent storage. Given the typically large and ever-increasing recommendation model sizes, the checkpoint frequency and effectiveness is often bottlenecked by the storage write bandwidth and capacity, as well as the network bandwidth. We present Check-N-Run, a scalable checkpointing system for training large recommendation models. Check-N-Run uses two primary approaches to address these challenges. First, it applies incremental checkpointing, which tracks and checkpoints the modified part of the model. On top of that, it leverages quantization techniques to significantly reduce the checkpoint size, without degrading training accuracy. These techniques allow Check-N-Run to reduce the required write bandwidth by 6-17x and the required capacity by 2.5-8x on real-world models at Facebook, and thereby significantly improve checkpoint capabilities while reducing the total cost of ownership.

研究の動機と目的

• 大規模な推薦モデル学習におけるチェックポイント管理のスケーラビリティ課題に対処すること。
• 頻繁で大容量のチェックポイント書き込みによって引き起こされる高いストレージおよびネットワーク帯域幅のオーバーヘッドを低減すること。
• チェックポイントのサイズと書き込み頻度を最小限に抑える一方で、学習精度を維持すること。
• チェックポイント I/O の最適化により、学習システムの総所有コストを低減すること。
• 効率的なチェックポイント管理を通じて、障害回復を高速化し、より効果的なオンライン学習を可能にすること。

提案手法

• 増分チェックポイント管理により、モデルの変更された部分のみを追跡・永続化することで、冗長な書き込みを削減する。
• 量子化技術を適用してモデル重みを圧縮し、チェックポイントのサイズを顕著に削減する。
• 増分チェックポイント管理とトレーニング後量子化を統合することで、モデル精度を保持する。
• 変更されたパラメータを優先し、低精度表現を活用することで、チェックポイントの書き込みを最適化する。
• 既存のトレーニングフレームワークに最小限の変更で統合できるアーキテクチャを設計する。
• モデルの更新パターンに基づいて、チェックポイントの頻度とサイズを動的にバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 大規模な推薦モデル学習におけるチェックポイント管理のオーバーヘッドをどのように低減できるか？
• RQ2 増分チェックポイント管理は、書き込み帯域幅とストレージ容量をどの程度削減できるか？
• RQ3 量子化技術は、チェックポイントのサイズを小さくしつつも、学習精度を維持できるか？
• RQ4 増分チェックポイント管理と量子化を組み合わせた場合、システムの効率性とコストにどのような影響を与えるか？
• RQ5 本システムは、スケールでの実際のワークロード条件下でどの程度の性能を示すか？

主な発見

• Check-N-Run は、Facebook の実際の推薦モデルにおいて、必要な書き込み帯域幅を 6–17 倍削減した。
• システムは必要なストレージ容量を 2.5–8 倍削減し、インfraストラクチャコストを顕著に低減した。
• 極めて積極的な量子化と増分チェックポイント管理を施しても、モデル精度が維持された。
• 増分チェックポイント管理と量子化の組み合わせにより、より頻繁で効率的なチェックポイントが可能になった。
• システムは障害回復速度を向上させ、より効果的なオンライン学習を支援した。
• 訓練の安定性とパフォーマンスを維持したまま、顕著なコスト削減を達成した。