[論文レビュー] DELTA: Dynamically Optimizing GPU Memory beyond Tensor Recomputation

Yu Tang, Chenyu Wang+6 more|arXiv (Cornell University)|Mar 30, 2022

Tensor decomposition and applications被引用数 6

ひとこと要約

DELTA は、実行時におけるテンソルのスワップと再計算を統合的に最適化することで、手動チューニングを排除し、メモリ圧力を軽減する画期的な動的GPUメモリマネージャーである。フィルタ、ディレクタ、プリフェッチモジュールを用いて、知的なテンソルのオフロードを実現し、最大70%のメモリ削減と最小限の訓練遅延で2.25倍の大きなバッチサイズを達成する。

ABSTRACT

The further development of deep neural networks is hampered by the limited GPU memory resource. Therefore, the optimization of GPU memory resources is highly demanded. Swapping and recomputation are commonly applied to make better use of GPU memory in deep learning. However, as an emerging domain, several challenges remain:1)The efficiency of recomputation is limited for both static and dynamic methods. 2)Swapping requires offloading parameters manually, which incurs a great time cost. 3) There is no such dynamic and fine-grained method that involves tensor swapping together with tensor recomputation nowadays. To remedy the above issues, we propose a novel scheduler manager named DELTA(Dynamic tEnsor offLoad and recompuTAtion). To the best of our knowledge, we are the first to make a reasonable dynamic runtime scheduler on the combination of tensor swapping and tensor recomputation without user oversight. In DELTA, we propose a filter algorithm to select the optimal tensors to be released out of GPU memory and present a director algorithm to select a proper action for each of these tensors. Furthermore, prefetching and overlapping are deliberately considered to overcome the time cost caused by swapping and recomputing tensors. Experimental results show that DELTA not only saves 40%-70% of GPU memory, surpassing the state-of-the-art method to a great extent but also gets comparable convergence results as the baseline with acceptable time delay. Also, DELTA gains 2.04$ imes$ maximum batchsize when training ResNet-50 and 2.25$ imes$ when training ResNet-101 compared with the baseline. Besides, comparisons between the swapping cost and recomputation cost in our experiments demonstrate the importance of making a reasonable dynamic scheduler on tensor swapping and tensor recomputation, which refutes the arguments in some related work that swapping should be the first and best choice.

研究の動機と目的

• 静的再計算を超えるメモリ使用の最適化により、大規模なディープニューラルネットワークのトレーニングにおけるGPUメモリの壁を克服すること。
• 手動チューニングや静的チェックポイント、非効率なスワップに依存する既存手法の限界を克服すること。
• テンソルスワップと再計算を統合した、完全に動的でユーザーに透明な実行時メモリマネージャーを構築すること。
• 知的なプリフェッチと計算-計算のオーバーラップにより、メモリオフロードに起因するトレーニング時間のオーバーヘッドを最小限に抑えること。
• 制限されたGPUメモリ環境下で、ResNet-101などの大規模モデルを、顕著に大きなバッチサイズでトレーニング可能にすること。

提案手法

• フィルタ（ヒューリスティック関数を用いて解放対象のテンソルを選択）、ディレクタ（CPUへのオフロードか再計算のどちらを選ぶかを決定）、プリフェッチャー（通信と計算をオーバーラップ）の3つのモジュールから成るシステムを提案。
• メモリ節約とデータ移動の削減のバランスを取るベースのヒューリスティックフィルタ関数（$h^{base}_{filter}$）を採用し、動的環境下でLRUやグリーディな代替手法を上回る性能を発揮。
• 各テンソルの解放コストと利益をリアルタイムで評価する動的意思決定フレームワークを導入し、手動でのモデル分析を回避。
• 通信遅延を隠すためにプリフェッチとオーバーラップ技術を活用し、オフロードに起因する時間的オーバーヘッドを低減。
• フレームワークに依存しないアーキテクチャを設計し、PyTorch、TensorFlow、MXNet、およびその他のディープラーニングフレームワークへの統合を可能に。
• 継続的にメモリ圧力を監視し、トレーニング中にテンソル解放戦略を動的に適応するランタイムマネージャーを採用。

実験結果

リサーチクエスチョン

• RQ1 動的で自動化されたシステムは、ユーザーの干渉なしにテンソルスワップと再計算を効果的に統合し、GPUメモリ使用量を削減できるか？
• RQ2 実際のトレーニングにおいて、スワップと再計算の選択がトレーニング時間とメモリ節約に与える影響は何か？
• RQ3 テンソル選択に最適なヒューリスティック関数は、メモリ削減とランタイムオーバーヘッドの間でどのような最適なトレードオフを実現するか？
• RQ4 動的メモリ管理により、ResNet-50 や ResNet-101 といった大規模モデルのバッチサイズはどの程度拡大できるか？
• RQ5 プリフェッチとオーバーラップを組み合わせることで、オフロードに起因するパフォーマンスペナルティは顕著に低減するか？

主な発見

• DELTA は、ResNet-50、ResNet-101、BERTの各モデルで、40%から70%のGPUメモリ消費量削減を達成し、最先端の手法を著しく上回る。
• DELTA を用いることで、ResNet-50 ではベースライン比で最大バッチサイズが2.04倍に拡大し、ResNet-101 では2.25倍に拡大する。
• ベースのヒューリスティックフィルタ（$h^{base}_{filter}$）は、オフロード頻度の低減と良好なオーバーラップにより、特に小さなメモリ予算下でLRUやグリーディフィルタを上回る性能を発揮。
• 実験結果から、スワップよりも再計算がしばしばより効率的であることが示され、スワップをデフォルト戦略とする主張とは矛盾する。
• DELTA は、極めて積極的なメモリ最適化を行っても、ベースラインと同等の収束行動を維持しており、モデルトレーニングの品質への影響は最小限である。
• プリフェッチとオーバーラップ戦略により、時間的遅延が顕著に低減され、実用的に許容できるメモリ管理のオーバーヘッドに抑えられている。