[論文レビュー] A highly scalable Met Office NERC Cloud model

Nick Brown, Michèle Weiland+5 more|CentAUR (University of Reading)|Sep 27, 2020

Meteorological Phenomena and Simulations参考文献 10被引用数 23

ひとこと要約

本論文では、メタンオーシス大済モデル（LEM）の512コアスケーリング限界を超えるために、プラグイン型でコンポonentベースのアーキテクチャとI/Oサーバーモデルを採用した、高度にスケーラブルな再実装であるMONCを提示する。その結果、32,768コアまでスケーリング可能なモデルが得られ、単精度反復圧力ソルバーのおかげで最大600秒の性能向上が達成され、現代のHPCシステム上で高解像度の大気シミュレーションが可能になった。

ABSTRACT

Large Eddy Simulation is a critical modelling tool for scientists investigating atmospheric flows, turbulence and cloud microphysics. Within the UK, the principal LES model used by the atmospheric research community is the Met Office Large Eddy Model (LEM). The LEM was originally developed in the late 1980s using computational techniques and assumptions of the time, which means that the it does not scale beyond 512 cores. In this paper we present the Met Office NERC Cloud model, MONC, which is a re-write of the existing LEM. We discuss the software engineering and architectural decisions made in order to develop a flexible, extensible model which the community can easily customise for their own needs. The scalability of MONC is evaluated, along with numerous additional customisations made to further improve performance at large core counts. The result of this work is a model which delivers to the community significant new scientific modelling capability that takes advantage of the current and future generation HPC machines.

研究の動機と目的

• 古くなった並列化の仮定により、メタンオーシスLEMが512コアを超えてスケーリングできない問題を克服すること。
• 現代および将来のHPCシステム上で、大気の流れ、乱流、雲ミクロ物理学を高解像度で大済モデル（LES）でシミュレートできること。
• プラグインアーキテクチャを通じて、カスタマイズや科学的拡張が容易な柔軟で拡張可能なコミュニティ対応コードベースを提供すること。
• データ分析をメインモデルループから分離することで、I/Oおよび計算のボトル neck を軽減し、全体のパフォーマンスとスケーラビリティを向上させること。

提案手法

• 科学モジュール、ソルバー、I/Oハンドラを実行時において独立してプラグイン可能なコンポonentベースのシステムにLEMを再アーキテクチャ化した。
• 1プロセッサあたり1コアが非同期的にデータ分析とI/Oを処理するI/Oサーバーモデルを実装し、メインシミュレーションステップから分離した。
• 弱スケーリング評価のため、Cray XC30システム上で1,024〜32,768コアの範囲で、FFTおよび反復ソルバーの2種類の圧力ソルバーを評価した。
• データ移動を削減しキャッシュ効率を向上させるために、ソルバーを単精度に再実装し、二重精度ベースラインと比較してパフォーマンスを評価した。
• 乾燥境界層ケースを用いた弱スケーリングテストにより、コア数およびソルバータイプごとのパフォーマンスをベンチマークした。
• コンポonentベース設計により、再コンパイルなしで実行時におけるソルバーやI/Oハンドラの置き換えが可能であり、動的パフォーマンスチューニングを実現した。

実験結果

リサーチクエスチョン

• RQ1 現代的でコンポonentベースのソフトウェアアーキテクチャは、LEMを現代のHPCシステム上で512コアを超えてスケーリング可能にするか？
• RQ2 I/Oサーバーモデルは、データ分析をメインシミュレーションループから分離することで、どのようにパフォーマンスを向上させるか？
• RQ3 大規模コア数でのLESにおける圧力補正に、FFTソルバーと反復ソルバーの相対的なパフォーマンスはどのようになるか？
• RQ4 解の精度に許容可能な影響を与えることなく、単精度算術演算がどの程度パフォーマンスを向上させるか？
• RQ5 柔軟で拡張可能なアーキテクチャは、GPUアクセcelレーションやミックスドプレシジョンソルバーといった将来のハードウェア進化をどのようにサポートできるか？

主な発見

• MONCは32,768コアまで効果的にスケーリング可能であり、LEMの512コア制限に比べ顕著な改善を示した。
• 大規模コア数において、反復圧力ソルバーがFFTソルバーを上回り、32,768コアで合計実行時間を600秒短縮した。
• 16,384コアで二重精度FFTソルバーと比較して、単精度計算により476秒の実行時間短縮が達成され、解の精度にほとんど影響を与えないことが確認された。
• I/Oサーバーモデルにより非同期データ処理が可能になり、メインモデルがI/Oを待つ必要がなくなり、大幅に効率が向上した。
• コンポonentベースアーキテクチャにより、ソルバーやI/Oコンポーネントをシームレスに置き換え可能であり、パフォーマンスに重要なコンponentの迅速な実験が可能になった。
• モデルの設計は、GPUアクセcelレートコンポーネントやミックスドプレシジョンソルバーといった将来的な拡張を、最小限の再設計でサポートできる。