[論文レビュー] On Efficient Constructions of Checkpoints

Yu Chen, Zhenming Liu+2 more|arXiv (Cornell University)|Sep 28, 2020

Formal Methods in Verification被引用数 4

ひとこと要約

本稿では、SGDトレーニング下で圧縮率を最大化するとともに回復速度を最適化する、深層学習モデルのチェックポイント用の損失圧縮方式LC-Checkpointを提案する。勾配の差分に指数ベースの量子化、優先度プロモーション、ハフマン符号化を組み合わせることで、最大28倍の圧縮とSCARより5.77倍速い回復が達成され、最小限のオーバーヘッドで効率的かつ頻繁なチェックポイントが可能になる。

ABSTRACT

Efficient construction of checkpoints/snapshots is a critical tool for training and diagnosing deep learning models. In this paper, we propose a lossy compression scheme for checkpoint constructions (called LC-Checkpoint). LC-Checkpoint simultaneously maximizes the compression rate and optimizes the recovery speed, under the assumption that SGD is used to train the model. LC-Checkpointuses quantization and priority promotion to store the most crucial information for SGD to recover, and then uses a Huffman coding to leverage the non-uniform distribution of the gradient scales. Our extensive experiments show that LC-Checkpoint achieves a compression rate up to $28 imes$ and recovery speedup up to $5.77 imes$ over a state-of-the-art algorithm (SCAR).

研究の動機と目的

• 大規模な深層学習トレーニングにおける頻繁なモデルチェックポイントによる増大するI/Oおよびストレージ負荷に対処すること。
• SGDベースのトレーニングにおいて、圧縮率を最大化するとともに回復を高速化する損失圧縮方式を設計すること。
• 勾配更新の統計的パターンと学習ダイナミクスを活用し、回復に必要な最重要情報を同定・保持すること。
• 分散トレーニングおよびモデル圧縮の技術を統合することで、チェックポイントのランタイムオーバーヘッドを最小限に抑えること。
• 障害やクラッシュ後の再作業を最小限に抑えるために、細粒度で高頻度のチェックポイントを可能にすること。

提案手法

• 連続するモデル状態間の差分のみを保存するデルタエンコーディングを用いることで、冗長性を低減する。
• 重要なトレーニング情報を保持しつつ、パラメータ更新を圧縮するための指数ベースの量子化を適用する。
• 顕著な更新があるパラメータを同定・保持し、変化が小さいパラメータは破棄する優先度プロモーションメカニズムを採用する。
• 残りのデータをハフマン符号化することで、勾配スケールの非一様分布を活用し、情報理論的圧縮に近い効果を達成する。
• 実験では1イテレーションあたり4%未満のオーバーヘッドに抑えられ、効率的かつスケーラブルな設計となっている。
• 本手法はSGDをトレーニングアルゴリズムとして想定しており、再構築精度ではなく、障害後の回復時間を最小限に抑えることに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 SGDトレーニング下で高い圧縮率を達成しつつ、高速な回復を可能にするモデルチェックポイント用の損失圧縮方式を設計できるか？
• RQ2 トレーニング回復に必要な最重要情報のみを、モデルパラメータ更新において同定・保持する方法は何か？
• RQ3 分散トレーニングおよびモデル圧縮の技術を組み合わせることで、チェックポイント効率を最適化できる程度はどの程度か？
• RQ4 頻繁なチェックポイントにおいて、圧縮率、回復速度、ランタイムオーバーヘッドのトレードオフはどのようなものか？
• RQ5 深層学習における勾配スケールの非一様分布を活用することで、近似的に最適な圧縮を達成できるか？

主な発見

• LC-Checkpointは、完全なモデルチェックポイントと比較して最大28倍の圧縮率を達成した。
• 最先端のSCARアルゴリズムと比較して、最大5.77倍速い回復速度を実現した。
• MovieLens25Mの実験では、完全なチェックポイントと比較して546秒のトレーニング時間を節約し、1イテレーションあたりわずか4秒の追加オーバーヘッドにとどまった。
• 3ビットの優先度プロモーションを用いることで、チェックポイントサイズを元の10%未満にまで削減した。
• ランタイムオーバーヘッドは無視できるほど小さく、1イテレーションあたり4%未満に抑えられ、頻繁なチェックポイントに適している。
• 本手法は、トレーニングダイナミクスに基づく選択的圧縮により、余分な情報を排除することでSCARを上回る性能を発揮した。