[論文レビュー] SWIFT: task-based hydrodynamics and gravity for cosmological simulations

Tom Theuns, Aidan B. G. Chalk+2 more|arXiv (Cornell University)|Aug 1, 2015

Algorithms and Data Compression参考文献 11被引用数 4

ひとこと要約

SWIFTは、宇宙論的シミュレーションのためのタスクベースで非同期な並列フレームワークを導入し、SPHおよび重力計算における負荷バランス、キャッシュ効率、ベクトル化を向上させた。1,024コアで60%の強スケーリング効率を達成し、1つの16コアノードでは90%を超える効率を示した。GADGET-2のような従来コードを著しく上回り、ユーザーが低レベルの並列化の複雑さから解放された。

ABSTRACT

Simulations of galaxy formation follow the gravitational and hydrodynamical interactions between gas, stars and dark matter through cosmic time. The huge dynamic range of such calculations severely limits strong scaling behaviour of the community codes in use, with load-imbalance, cache inefficiencies and poor vectorisation limiting performance. The new swift code exploits task-based parallelism designed for many-core compute nodes interacting via MPI using asynchronous communication to improve speed and scaling. A graph-based domain decomposition schedules interdependent tasks over available resources. Strong scaling tests on realistic particle distributions yield excellent parallel efficiency, and efficient cache usage provides a large speed-up compared to current codes even on a single core. SWIFT is designed to be easy to use by shielding the astronomer from computational details such as the construction of the tasks or MPI communication. The techniques and algorithms used in SWIFT may benefit other computational physics areas as well, for example that of compressible hydrodynamics. For details of this open-source project, see www.swiftsim.com

研究の動機と目的

• 従来のコードにおける負荷の不均衡、キャッシュ使用の低効率、およびベクトル化の制限によって引き起こされる宇宙論的シミュレーションの性能ボトルネックを解消すること。
• 大規模な宇宙論的シミュレーションにおいて、現代の多数コアアーキテクチャで強スケーリング効率と計算性能を向上させること。
• 天文学者が小スケールモデルを実装する際に、MPI やタスクスケジューリングなどの低レベルの並列化の詳細から抽象化された使いやすいフレームワークを開発すること。
• 質量、長さ、時間の動的レンジが広い高精度な銀河形成のシミュレーションを、最適化された流体力学および重力ソルバーを用いて効率的に実行できること。

提案手法

• SPHおよび重力計算のための依存関係を持つタスクを形成するために、シミュレーション領域を空間セルに分割する。
• 複数のコアおよびノード間でのタスク間の依存関係と競合を管理するため、グラフベースのタスクスケジューラを用いる。
• ノード間の非同期的・ブロッキングなしのMPI通信を実装し、アイドル時間を短縮し、スケーラビリティを向上させる。
• ノード内でのタスクスティーリングを用いて、スレッド間での作業負荷を動的にバランスさせる。
• セルベースのグループ化によるメモリアクセスの最適化により、キャッシュ局所性を向上させ、効率的なベクトル化を実現する。
• 葉ノードに100粒子を上限とする深さ制限付きセルを用いた修正版Barnes-Hut木アルゴリズムを採用し、多重極近似と四重極項を用いて重力力計算を行う。

実験結果

リサーチクエスチョン

• RQ1 複雑でクラスタリングされた粒子分布を持つ宇宙論的シミュレーションにおいて、タスクベースの並列処理が強スケーリング効率を著しく向上させ得るか？
• RQ2 従来の粒子単位のアプローチと比較して、セルベースのタスク分割は、キャッシュ効率およびベクトル化をどの程度向上させるか？
• RQ3 MPIノード間の非同期通信は、大規模な宇宙論的シミュレーションにおける性能と負荷バランスにどのように影響するか？
• RQ4 SPHおよび重力ソルバーにおける低レベルのパフォーマンス最適化を達成しながらも、高レベルで天文学者に使いやすいインターフェースを維持できるか？
• RQ5 コア数が変化する条件下で、SWIFTのパフォーマンスはGADGET-2のような従来コードと比較して、実行時間および並列効率の面でどの程度優れているか？

主な発見

• SWIFTは、1000万粒子の宇宙論的スナップショットを対象に、1から1,024コアにスケーリングする際、60%の強スケーリング効率を達成し、効果的な負荷バランスを示した。
• 1つの16コアノードでは、重力ソルバーが90%を超える並列効率を達成しており、優れたスレッドレベルの負荷バランスとキャッシュ利用効率を示している。
• SPHの実装は、メモリアクセスパターンの改善とベクトル化のおかげで、従来コードと比較して単一コアでも顕著な高速化を達成した。
• Barnes-Hut重力ソルバーにおける四重極近似の導入により、パフォーマンスコストを最小限に抑えつつ、精度が向上した。
• タスクベースの設計により、ノード間での効率的な非同期通信が実現され、アイドル時間が短縮され、全体のスケーラビリティが向上した。
• フレームワークは、ユーザーが低レベルの並列化の複雑さから解放され、天文学者が小スケールモデルの開発に集中できるようにした。