[論文レビュー] A Study of Checkpointing in Large Scale Training of Deep Neural Networks

Elvis Rojas, Albert Njoroge Kahira+3 more|arXiv (Cornell University)|Dec 1, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 4

ひとこと要約

この論文は、PyTorch、TensorFlow、Chainerにおける大規模ディープラーニング学習におけるチェックポイントの評価を行い、パフォーマンスオーバーヘッド、ファイルサイズ、スケーラビリティ、決定論的動作を測定している。特に、単一ノードでのチェックポイント処理と非決定論的動作が顕著なボトルネックを示しており、HPC向けに最適化されたスケーラブルなチェックポイントソリューションの必要性を強調している。

ABSTRACT

Deep learning (DL) applications are increasingly being deployed on HPC systems, to leverage the massive parallelism and computing power of those systems for DL model training. While significant effort has been put to facilitate distributed training by DL frameworks, fault tolerance has been largely ignored. In this work, we evaluate checkpoint-restart, a common fault tolerance technique in HPC workloads. We perform experiments with three state-of-the-art DL frameworks common in HPC Chainer, PyTorch, and TensorFlow). We evaluate the computational cost of checkpointing, file formats and file sizes, the impact of scale, and deterministic checkpointing. Our evaluation shows some critical differences in checkpoint mechanisms and exposes several bottlenecks in existing checkpointing implementations. We provide discussion points that can aid users in selecting a fault-tolerant framework to use in HPC. We also provide takeaway points that framework developers can use to facilitate better checkpointing of DL workloads in HPC.

研究の動機と目的

• HPC環境で使用される主要なディープラーニングフレームワークにおけるチェックポイントメカニズムのパフォーマンスと効率を評価すること。
• 複数のGPUおよびノードを横断するスケールでのチェックポイント処理における計算オーバーヘッド、ファイルサイズ、I/O特性を分析すること。
• 同じシード値を用いた複数回の実行において、モデル重みと勾配を比較することで、決定論的学習動作と再起動後の再現性を評価すること。
• 特にマルチノードおよびモデル並列学習における、既存のチェックポイントサポートの制限を特定すること。
• 障害耐性を持つフレームワークを選択するユーザーおよび、ディープラーニングシステムにおけるチェックポイントの改善に取り組む開発者に向けた実用的インサイトを提供すること。

提案手法

• CIFAR-10データセットを用い、複数のGPUにわたるデータ並列化を適用した、最先端のディープラーニングフレームワーク3つ（Chainer、PyTorch、TensorFlow）のベンチマーク。
• チェックポイントオペレーション中の時間、I/O帯域幅、GPU利用率を測定し、チェックポイントオーバーヘッドを評価。
• 異なるモデルアーキテクチャとスケール下でのフレームワーク間のチェックポイントファイルフォーマット、サイズ、構造を分析。
• 同一シード値を用いた複数回の実行において、モデル重みと勾配を比較することで、決定論的学習と再起動動作を評価。
• 特に、単一ノードでのチェックポイント処理が分散環境で性能ボトルネックを引き起こすため、マルチノードでのチェックポイント機能とスケーラビリティを評価。
• 制御された実験とプロファイリングを組み合わせ、チェックポイントパイプライン内のパフォーマンスボトルネックを特定。

実験結果

リサーチクエスチョン

• RQ1 分散ディープラーニング学習におけるチェックポイントオーバーヘッドは、GPU数およびノード数の増加に伴いどのようにスケーリングするか？
• RQ2 PyTorch、TensorFlow、Chainer間で、ファイルサイズ、フォーマット、I/Oパターンにどのような差異があるか？
• RQ3 現在のフレームワークは、どの程度のレベルで決定論的学習と再現可能な再起動をサポートしているか？
• RQ4 マルチノードHPC環境における、既存のチェックポイントメカニズムのスケーラビリティ制限は何か？
• RQ5 モデルサイズおよびアーキテクチャの違いは、チェックポイントのパフォーマンスおよびメモリ使用量にどのように影響するか？

主な発見

• チェックポイントオーバーヘッドは、特に複数のGPUが使用される場合に顕著に増加し、チェックポイント処理中のGPUのアイドル時間が原因で発生する。
• Chainerはモデルアーキテクチャに応じてチェックポイントファイルサイズが著しく変動するが、PyTorchおよびTensorFlowはより一貫したサイズを示す。
• マルチノードチェックポイントをサポートしているのはChainerのみであるが、チェックポイント時間に改善がなく、重複したコピーが生成されるため、真の並列化が実現されていない。
• 決定論的学習オプションを提供しているにもかかわらず、すべてのフレームワークが再起動間で100％の再現性を保証できず、重要な応用分野における再現性が損なわれている。
• 単一ノードでのチェックポイント処理がボトルネックとなり、マルチノードHPCクラスタでのスケーラビリティが制限されている。なぜなら、チェックポイントは常に1ノードでのみ実行されるため、性能のホットスポットが発生する。
• 既存のチェックポイントメカニズムは、部分的またはモデル並列チェックポイントをサポートしていないため、大規模なモデル並列学習シナリオには不適切である。