[論文レビュー] Acceleration of the Implicit-Explicit Non-hydrostatic Unified Model of the Atmosphere (NUMA) on Manycore Processors

Daniel Abdi, Francis X. Giraldo+4 more|arXiv (Cornell University)|Feb 13, 2017

Matrix Theory and Algorithms参考文献 28被引用数 6

ひとこと要約

本稿では、GPU や Intel KNL などのマルチコアプロセッサ上で、シュール補完還元、HEVI 1D-IMEX 形式、高次予条件子、直接解法器を用いた高度な数値技法を採用することで、非圧積的大気モデル NUMA の高速化を実現した。高コウラント数において、明示法と比較して最大 100X の高速化を達成し、エクサスケール対応アーキテクチャにおいて優れたスケーラビリティと性能を示した。

ABSTRACT

We present the acceleration of an IMplicit-EXplicit (IMEX) non-hydrostatic atmospheric model on manycore processors such as GPUs and Intel's MIC architecture. IMEX time integration methods sidestep the constraint imposed by the Courant-Friedrichs-Lewy condition on explicit methods through corrective implicit solves within each time step. In this work, we implement and evaluate the performance of IMEX on manycore processors relative to explicit methods. Using 3D-IMEX at Courant number C=15 , we obtained a speedup of about 4X relative to an explicit time stepping method run with the maximum allowable C=1. In addition, we demonstrate a much larger speedup of 100X at C=150 using 1D-IMEX due to the unconditional stability of the method in the vertical direction. Several improvements on the IMEX procedure were necessary in order to outperform our results with explicit methods: a) reducing the number of degrees of freedom of the IMEX formulation by forming the Schur complement; b) formulating a horizontally-explicit vertically-implicit (HEVI) 1D-IMEX scheme that has a lower workload and potentially better scalability than 3D-IMEX; c) using high-order polynomial preconditioners to reduce the condition number of the resulting system; d) using a direct solver for the 1D-IMEX method by performing and storing LU factorizations once to obtain a constant cost for any Courant number. Without all of these improvements, explicit time integration methods turned out to be difficult to beat. We discuss in detail the IMEX infrastructure required for formulating and implementing efficient methods on manycore processors. Finally, we validate our results with standard benchmark problems in NWP and evaluate the performance and scalability of the IMEX method using up to 4192 GPUs and 16 Knights Landing processors.

研究の動機と目的

• 非圧積的大気モデルにおける高速な音波および重力波の影響により生じる明示法の深刻な時間刻み制限を解消すること。
• マルチコアアーキテクチャにおける陰解法の性能ボトルネックを、アルゴリズム的および実装的最適化によって克服すること。
• 解の精度を維持しつつ、大きなコウラント数を許容することで、明示時積分法に比べ顕著な高速化を達成すること。
• 運用型数値 weahter予測に適した、GPU や Intel KNL を含む現代のマルチコアシステムにおける高いスケーラビリティと性能を確保すること。
• 標準的な NWP ベンチマークを用いて IMEX アプローチの妥当性を検証し、多様なハードウェアプラットフォームにわたる強靭性を示すこと。

提案手法

• 音波・重力波を陰的に、ロスビー波を陽的に扱う ARK スキームを用いて IMEX 時積分を実装する。
• 3D-IMEX の自由度をシュール補完式を用いて低減し、計算効率を向上させる。
• 水平方向に陽的で垂直方向に陰的である HEVI 1D-IMEX スキームを開発し、負荷低減とスケーラビリティ向上を図る。
• 陰解法系の条件数を低減するため、高次多項式予条件子を適用し、反復解法の収束を加速する。
• 1D-IMEX に対して事前計算された LU 分解を用いた直接解法器を採用し、コウラント数に依存しない定常コストの陰解法を実現する。
• GPU および KNL プロセッサ上でポータブルかつ高性能に実行可能な、統一された OCCA 言語を用いてすべてのカーネルを実装する。

実験結果

リサーチクエスチョン

• RQ1 マルチコアプロセッサ上での IMEX 法が、非圧積的大気モデルにおける明示法に比べて顕著な高速化を達成できるか。
• RQ2 シュール補完や HEVI 形式といったアルゴリズム的改善が、GPU や KNL における IMEX の性能とスケーラビリティに与える影響は何か。
• RQ3 コウラント数が増加するに従って、IMEX が明示法に比べて達成可能な最大高速化率は何か。
• RQ4 弱スケーリングおよび強スケーリングの両状況下で、数千の GPU や KNL ノードにわたる IMEX の性能スケーリング特性はいかなるものか。
• RQ5 高次予条件子および直接解法器が、IMEX スキームにおける陰解法の効率性にどの程度寄与するか。

主な発見

• コウラント数 C = 15 の場合、GPU 上の 3D-IMEX は C = 1 の明示法と比較して 4X の高速化を達成した。
• 直接解法器を用いた 1D-IMEX を用いることで、C = 150 の場合に 100X の高速化を実現し、高コウラント IMEX 法の潜在的利点を示した。
• 直接解法を用いた 1D-IMEX スキームは、陰解法におけるプロセッサ間通信を低減しているため、3D-IMEX よりも優れたスケーラビリティを示した。
• 最大 4096 個の GPU を用いた強スケーリングでは、対数-対数プロット上でも線形スケーリングが観察され、明示法に比べ 5X の相対的高速化を達成した。
• 16 個の KNL ノードでは、IMEX は 90% の強スケーリング効率を達成し、Intel のマルチコアアーキテクチャにおいて優れた性能を示した。
• グローバル音波波のベンチマークによる検証で、IMEX の結果は明示法と同等の精度を有しながら、著しく優れた速度性能を示した。