[論文レビュー] Exascale deep learning for climate analytics

Thorsten Kurth, Sean Treichler+10 more|arXiv (Cornell University)|Nov 11, 2018

Solar Radiation and Photovoltaics参考文献 26被引用数 67

ひとこと要約

本論文では、TiramisuおよびDeepLabv3+ネットワークを用いてエクサスケールシステム上で気候データ内の極端な気象パターンを検出するスケーラブルなディープラーニングフレームワークを提示する。27,360枚のV100 GPUでFP16テンソルコアを用いた場合、999.0 PF/sの継続スループットを達成し、気候分析における準理想に近い並列効率とエクサスケール性能を示した。

ABSTRACT

We extract pixel-level masks of extreme weather patterns using variants of Tiramisu and DeepLabv3+ neural networks. We describe improvements to the software frameworks, input pipeline, and the network training algorithms necessary to efficiently scale deep learning on the Piz Daint and Summit systems. The Tiramisu network scales to 5300 P100 GPUs with a sustained throughput of 21.0 PF/s and parallel efficiency of 79.0%. DeepLabv3+ scales up to 27360 V100 GPUs with a sustained throughput of 325.8 PF/s and a parallel efficiency of 90.7% in single precision. By taking advantage of the FP16 Tensor Cores, a half-precision version of the DeepLabv3+ network achieves a peak and sustained throughput of 1.13 EF/s and 999.0 PF/s respectively.

研究の動機と目的

• 大規模な気候データセットにおける極端な気象パターンのピクセル単位のセグメンテーションを可能にすること。
• Piz DaintおよびSummitのようなエクサスケールGPUシステム向けにディープラーニングフレームワークおよびトレーニングパイプラインを最適化すること。
• 気候分析ワークロードにおいて数万枚のGPUで高い並列効率と継続スループットを達成すること。
• FP16テンソルコアを活用して、気候データ向けディープラーニングモデルの推論およびトレーニングを高速化すること。

提案手法

• 気候データ内の極端な気象パターンのピクセル単位のセグメンテーションに適応したTiramisuおよびDeepLabv3+ニューラルネットワークの適用。
• GPUクラスタ上で大規模な気候データを効率的に処理できるように、ソフトウェアフレームワークおよび入力パイプラインを最適化。
• 通信オーバーヘッドを最小限に抑える分散トレーニングアルゴリズムを実装し、最大27,360枚のV100 GPUにスケーリング。
• FP16テンソルコアを活用して計算を高速化し、ピークスループット1.13 EF/sおよび継続スループット999.0 PF/sを達成。
• 単精度でDeepLabv3+の並列効率が90.7%、ミックスド・プレシジョンでTiramisuの並列効率が79.0%を達成。
• Tiramisuを5,300枚のP100 GPUにスケーリングし、21.0 PF/sの継続スループットと79.0%の並列効率を達成。

実験結果

リサーチクエスチョン

• RQ1 TiramisuやDeepLabv3+のようなディープラーニングモデルは、気候パターン検出のためエクサスケールGPUシステムに効果的にスケーリング可能か？
• RQ2 数万枚のGPUでこれらのモデルをトレーニングする際、どの程度の並列効率とスループットが達成可能か？
• RQ3 FP16テンソルコアを活用することで、気候分析ワークロードにおけるパフォーマンスとスケーラビリティにどのような影響を与えるか？
• RQ4 大規模なGPUクラスタで継続的な高スループットを維持するために、どのようなシステムレベル最適化が必要か？
• RQ5 提案されたパイプラインは、大規模な気候データセットのI/Oおよび計算的要件を処理できるか？

主な発見

• Tiramisuは5,300枚のP100 GPUにスケーリングされ、継続スループット21.0 PF/sおよび79.0%の並列効率を達成した。
• DeepLabv3+は27,360枚のV100 GPUで単精度で325.8 PF/sの継続スループットと90.7%の並列効率を達成した。
• FP16最適化済みのDeepLabv3+は、ピークスループット1.13 EF/s、継続スループット999.0 PF/sを同じハードウェアで達成した。
• システムは準理想に近いスケーリング効率を示し、効果的な負荷分散と低通信オーバーヘッドを示した。
• 最適化された入力パイプラインおよびソフトウェアスタックにより、エクサスケール規模での効率的なデータ供給とモデルトレーニングが可能になった。
• 結果は、リアルタイムで高解像度の気候パターンセグメンテーションにエクサスケールディープラーニングを適用することが実現可能であることを確認した。