[論文レビュー] Speeding up Deep Learning with Transient Servers

Shijian Li, Robert J. Walls+2 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Neural Network Applications参考文献 38被引用数 4

ひとこと要約

本論文では、いつでも取り消しが可能な安価で動的に利用可能なクラウドインスタンスである一時的GPUサーバーを用いて、分散ディープラーニングの学習を高速化し、コストを削減する手法を提案する。大規模な実験的調査を通じて、従量課金型サーバーと比較して最大7.7倍の高速化と62.9％のコスト削減を達成したが、モデルの精度にほとんど影響を与えないことを実証し、一時的ワークロードを効果的にサポートするための分散学習フレームワークにおける重要な設計変更を同定した。

ABSTRACT

Distributed training frameworks, like TensorFlow, have been proposed as a means to reduce the training time of deep learning models by using a cluster of GPU servers. While such speedups are often desirable---e.g., for rapidly evaluating new model designs---they often come with significantly higher monetary costs due to sublinear scalability. In this paper, we investigate the feasibility of using training clusters composed of cheaper transient GPU servers to get the benefits of distributed training without the high costs. We conduct the first large-scale empirical analysis, launching more than a thousand GPU servers of various capacities, aimed at understanding the characteristics of transient GPU servers and their impact on distributed training performance. Our study demonstrates the potential of transient servers with a speedup of 7.7X with more than 62.9% monetary savings for some cluster configurations. We also identify a number of important challenges and opportunities for redesigning distributed training frameworks to be transient-aware. For example, the dynamic cost and availability characteristics of transient servers suggest the need for frameworks to dynamically change cluster configurations to best take advantage of current conditions.

研究の動機と目的

• 一時的GPUサーバーを用いた分散ディープラーニング学習の実現可能性と性能を評価すること。
• 一時的サーバーと従量課金型サーバーを比較した場合の、学習速度、コスト、モデル精度のトレードオフを定量化すること。
• 分散学習フレームワークが一時的ワークロードを効果的にサポートできるようにするための主な課題と設計機会を同定すること。
• 動的クラスタ構成、異種リソース、変動する価格を一時的学習環境で活用する方法を検討すること。

提案手法

• 多様な構成の1,000台を超える一時的および従量課金型GPUサーバーを用いた大規模な実験的評価を実施した。
• 一時的および従量課金型GPUクラスタを用いて、CIFAR-10におけるResNet-32の学習時間、コスト、精度を測定した。
• 32のクラスタにわたり、異なるリボケーション率（r = 0, 1, 2）をシミュレートすることで、サーバーのリボケーションが与える影響を評価した。
• 非同期学習を用いることで、一時的サーバーの挙動に起因する遅延勾配の影響を分離して分析した。
• 一時的および従量課金型GPUの数や種別を変化させた構成での学習結果を比較した。
• 動的スケーリング、柔軟なチェックポイント、エラスティシティといったフレームワークレベルの要件を同定し、一時的サーバーの利用効率を向上させた。

実験結果

リサーチクエスチョン

• RQ1 一時的GPUサーバーを用いた分散ディープラーニング学習は、従量課金型サーバーと比較して、どのような性能的・コスト的利点をもたらすか？
• RQ2 サーバーのリボケーションは、分散学習における学習時間、コスト、モデル精度にどのように影響を与えるか？
• RQ3 一時的サーバーを用いることで、モデル品質を維持しつつ、より高速な学習と低い金銭的コストを実現できるか、その程度はどの程度か？
• RQ4 分散学習フレームワークに一時的サーバーワークロードを効果的にサポートするためには、どのようなアーキテクチャ的変更が必要か？
• RQ5 通信遅延および一時的サーバーの地理的多様性は、学習パフォーマンスにどのように影響を与えるか？

主な発見

• 4台の一時的K80 GPUを用いることで、1台の従量課金型K80 GPUと比較して3.72倍の高速化と62.9％のコスト削減が達成された。
• さまざまな構成において観測された最大の高速化は7.7倍であり、従量課金型学習と同等の精度を維持した。
• 4台の一時的GPUを用いた場合、モデル精度はわずかに低くなった（91.23％ vs. 93.07％）が、これは一時的サーバーの特性によるものではなく、非同期学習に起因するものであった。
• 128台のうち13台の一時的サーバーがリボケートされた（32のクラスタのうち11台）が、学習は正常に完了し、パフォーマンス劣化は最小限に抑えられた。
• リボケートされたワーカーを含む学習では、リボケートなしの場合（91.06％）よりも平均精度が高くなった（91.83％）ことがあり、動的ワーカーの入れ替えに潜在的な利点があることが示唆された。
• 現在のフレームワークは、動的スケーリングや柔軟なチェックポイントをネイティブでサポートしていないため、分散学習システムにおいて一時的対応設計の導入が求められる。