[論文レビュー] SWIFT: Maintaining weak-scalability with a dynamic range of $10^4$ in time-step size to harness extreme adaptivity

Josh Borrow, R. G. Bower+3 more|arXiv (Cornell University)|Jul 3, 2018

Computer Graphics and Visualization Techniques参考文献 22被引用数 5

ひとこと要約

本論文は、適応メッシュ細分化、タスクベース並列処理とSIMDベクトル化、METISに基づくドメイン分割を組み合わせることで、4096コアでほぼ完璧な弱スケーリングを達成する宇宙論的シミュレーションコードSWIFTを提示する。時間ステップサイズに10⁴の動的範囲を維持し、極めて高い時間的適応性を実現しながら、Gadget-2と比較して30倍以上の高速化を達成し、スケーリング時の性能損失を最小限に抑える。

ABSTRACT

Cosmological simulations require the use of a multiple time-stepping scheme. Without such a scheme, cosmological simulations would be impossible due to their high level of dynamic range; over eleven orders of magnitude in density. Such a large dynamic range leads to a range of over four orders of magnitude in time-step, which presents a significant load-balancing challenge. In this work, the extreme adaptivity that cosmological simulations present is tackled in three main ways through the use of the code SWIFT. First, an adaptive mesh is used to ensure that only the relevant particles are interacted in a given time-step. Second, task-based parallelism is used to ensure efficient load-balancing within a single node, using pthreads and SIMD vectorisation. Finally, a domain decomposition strategy is presented, using the graph domain decomposition library METIS, that bisects the work that must be performed by the simulation between nodes using MPI. These three strategies are shown to give SWIFT near-perfect weak-scaling characteristics, only losing 25% performance when scaling from 1 to 4096 cores on a representative problem, whilst being more than 30x faster than the de-facto standard Gadget-2 code.

研究の動機と目的

• 密度と時間ステップサイズに極めて広い動的範囲を有する宇宙論的シミュレーションにおける弱スケーリングの課題に対処すること。
• コールド・フリードリッヒス・レヴィ（CFL）条件に起因する10⁴の時間ステップサイズの動的範囲によって引き起こされる負荷バランスの問題を克服すること。
• 非常に適応的な粒子時間ステップと非均一な作業負荷にもかかわらず、高いパフォーマンスとスケーラビリティを維持するシミュレーションフレームワークを開発すること。
• 非同期通信と作業ベースの分割を統合することで、現代のHPCアーキテクチャを効率的に活用すること。
• Gadget-2に優る時間ステップ解決時間と弱スケーリング特性を備えた、高性能でオープンソースの代替ソリューションを提供すること。

提案手法

• 粒子相互作用を関連する近隣粒子に限定するための適応メッシュを採用し、1ステップあたりの計算コストを削減する。
• pthreadを用いたタスクベース並列処理とSIMDベクトル化を組み合わせ、1ノード内での作業バランスを効果的に実現する。
• 計算作業をパーティクルではなく分割するMETISに基づくグラフドメイン分割戦略を実装し、MPIノード間での負荷バランスを改善する。
• CFL条件を適用して局所時間ステップを決定する：Δtᵢ ∝ uᵢ⁻¹ᐟ²ρᵢ⁻¹ᐟ³。密度が高く、高温な領域ではより小さなステップを保証する。
• 適応メッシュに基づく疑似-ヴェルレリストを用いて、各ステップでアクティブな粒子のみをドリフトおよびキック処理し、冗長計算を最小限に抑える。
• 特に高い適応的時間ステッピングにおいて重要な、ドメイン分割における作業コストモデルを導入し、作業分配をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 時間ステップサイズに10⁴の動的範囲を有する宇宙論的シミュレーションにおいて、弱スケーリングをどのように維持できるか？
• RQ2 非常に非均一な粒子活動と時間ステップ分布を示すシミュレーションにおいて、最良の作業バランスを実現するドメイン分割戦略は何か？
• RQ3 タスクベース並列処理とSIMDベクトル化は、適応的時間ステッピングシミュレーションにおける負荷不均衡を効果的に管理できるか？
• RQ4 SWIFTのパフォーマンスは、デファクトスタンダードとされるGadget-2と比較して、時間ステップ解決時間と弱スケーリングの観点でどのように異なるか？
• RQ5 適応メッシュと作業ベースの分割を用いることで、適応的宇宙論的シミュレーションにおける計算オーバーヘッドはどの程度低減されるか？

主な発見

• SWIFTはほぼ完璧な弱スケーリングを達成し、代表的な宇宙論的問題において1から4096コアにスケーリングする際、パフォーマンスをわずかに25%しか損なわない。
• 25×10⁹個の粒子を用いた4096コア環境では、SWIFTは1コアあたり2.4×10⁻⁵秒の更新時間で、大規模スケーリングでも高い効率性を示す。
• SPHモードでのみの比較において、SWIFTはGadget-2の30倍以上も高速であり、適応的宇宙論的シミュレーションの時間ステップ解決時間を顕著に短縮する。
• METISベースのドメイン分割を用いることで、通信オーバーヘッドが低減され、特に小さな時間ステップをとる粒子においても作業バランスが改善される。
• 適応メッシュとタスクベースの方式により、アクティブな粒子のみを処理するため、複雑な時間ステップ階層にもかかわらず効率が向上する。
• コア数にかかわらずパフォーマンスが安定しており、1コア（5.8×10⁻⁶ s）から32コア（7.1×10⁻⁶ s）に増加しても更新時間はわずかに増加する。これは優れた負荷バランスを示している。