[論文レビュー] The Plasma Simulation Code: A modern particle-in-cell code with load-balancing and GPU support

K. Germaschewski, W. Fox+6 more|arXiv (Cornell University)|Oct 29, 2013

Lightning and Electromagnetic Phenomena参考文献 36被引用数 16

ひとこと要約

本論文では、空間充填曲線を用いた動的パッチベースの負荷分散とネイティブなGPUアクセラレーション（CUDA）を備えた、現代的でモジュラーな粒子法（PIC）シミュレーションコード「psc」を提示する。このコードは、計算負荷の効率的配分とGPUの並列処理を活用することで、Cray XK7システムで6倍以上の高速化を達成し、エクサスケール対応アーキテクチャ上で高分解能のキネティックプラズマシミュレーションを可能にする。

ABSTRACT

Recent increases in supercomputing power, driven by the multi-core revolution and accelerators such as the IBM Cell processor, graphics processing units (GPUs) and Intel's Many Integrated Core (MIC) technology have enabled kinetic simulations of plasmas at unprecedented resolutions, but changing HPC architectures also come with challenges for writing efficient numerical codes. This paper describes the Plasma Simulation Code (PSC), an explicit, electromagnetic particle-in-cell code with support for different order particle shape functions. We focus on two distinguishing feature of the code: patch-based load balancing using space-filling curves, and support for Nvidia GPUs, which achieves substantial speed-up of up to more than 6x on the Cray XK7 architecture compared to a CPU-only implementation.

研究の動機と目的

• 計算ドメインにわたる不均一な粒子分布によって引き起こされる大規模キネティックプラズマシミュレーションの性能ボトルネックを解消すること。
• 特にマルチコアプロセッサおよびGPUアクセラレータを含む進化するHPCアーキテクチャの課題に直面し、ポータブルでモジュラーなPICコードを設計すること。
• 高度な負荷分散とハードウェア固有の最適化を統合することで、10,000コア以上および数千のGPUを用いた効率的でスケーラブルなシミュレーションを実現すること。
• 柔軟で拡張可能なコードベースを用いて、生産レベルの科学的シミュレーションと新アルゴリズムの実験的開発の両方を可能にすること。
• 将来的なIntel Xeon Phiのような新規アーキテクチャへの移植性を促進するため、モジュラーでハードウェア固有のカーネルを設計し、将来的にはOpenACCのような高レベル抽象化に移行可能であるようにすること。

提案手法

• 粒子移動に伴い負荷が偏りがちな粒子法シミュレーションにおいて、3次元空間的パッチをプロセスランクにマップするための空間充填曲線を用いたパッチベースの動的負荷分散戦略を実装する。
• 各プロセスの計算能力を考慮した能力認識型負荷分散アルゴリズムを採用し、計算リソースの非均一性を補完する。
• Nvidia K20X GPU上でマスコミングされた並列処理を可能にするために、CUDAベースのGPUカーネルを粒子移動、場の計算、電流沈殿に統合する。
• シミュレーション領域を空間的パッチに分割し、粒子がグリッドを移動するに従い、実行時においてパッチを動的に再配分することで負荷バランスを維持する。
• 線形、二次関数など複数の粒子形状関数をサポートすることで、数値的精度を向上させつつ計算効率を維持する。
• C++のモジュラーなコンponentsを設計することで、新しいアルゴリズムやハードウェアバックエンド（例：Intel MICや将来のアクセラレータ）の容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非常に移動性の高い粒子を伴う粒子法シミュレーションにおいて、動的負荷分散を効果的に実装することで、高い性能を維持できるか？
• RQ2 最新のスーパーコンピュータ上で、電磁気的PICシミュレーションの性能は、GPUアクセラレーションによってどの程度向上できるか？
• RQ3 モジュラーで拡張可能なコードベースは、多様なHPCアーキテクチャにおいて、生産シミュレーションと実験的アルゴリズム開発の両方を効率的にサポートできるか？
• RQ4 空間充填曲線を用いたパッチベースの負荷分散は、従来のドメイン分割と比較して、負荷バランスおよびスケーラビリティの点でどの程度優れているか？
• RQ5 大規模プラズマシミュレーションにおいて、GPUアクセラレーションと知的な負荷分散を組み合わせることで、どの程度の性能向上が達成できるか？

主な発見

• 空間充填曲線を用いたパッチベースの負荷分散アルゴリズムは、粒子がドメイン全体を大きく移動しても、シミュレーション全体を通して高い計算効率を維持する。
• Nvidia K20X GPUを用いた場合、Cray XK7ノードにおいてCPUオンリーサイドと比較して、持続的な6倍以上のスピードアップを達成した。
• 負荷分散戦略は、リアルタイムでの負荷測定とプロセスの能力に基づいたパッチ再配分により、動的ワークロードを効果的に処理する。
• pscのモジュラー設計により、GPUカーネルの統合がスムーズに行われ、将来的なIntel Xeon Phiへの移行も容易である。
• 10,000コア以上のCPUコアおよび数千のGPUを搭載するシステムでも、強いスケーラビリティを示しており、エクサスケールクラスのプラズマシミュレーションに適している。
• 動的負荷分散とGPUアクセラレーションの組み合わせにより、電子、イオン、グローバルスケールをカバーする高分解能でマルチスケールのキネティックシミュレーションが可能になった。