[論文レビュー] Efficient Parallelization for AMR MHD Multiphysics Calculations; Implementation in AstroBEAR

Jonathan Carroll-Nellenback, Brandon Shroyer+2 more|arXiv (Cornell University)|Oct 7, 2011

Advanced Data Storage Technologies参考文献 3被引用数 5

ひとこと要約

本論文は、AstroBEAR 2.0における自己適合メッシュ細分化（AMR）磁気流体力学（MHD）シミュレーションのための新しい並列化戦略を提示する。インターレベルスレーディングと分散AMR木構造を用いることで、グローバルな負荷バランスと効率的なメモリ管理を実現する。この手法は、2048プロセッサまでに強く弱いスケーリングを達成し、80％以上の効率を示し、従来のレベルごとの負荷バランス手法の制限を克服し、高細分化レベルを有する深さのあるシミュレーションを可能にする。

ABSTRACT

Current AMR simulations require algorithms that are highly parallelized and manage memory efficiently. As compute engines grow larger, AMR simulations will require algorithms that achieve new levels of efficient parallelization and memory management. We have attempted to employ new techniques to achieve both of these goals. Patch or grid based AMR often employs ghost cells to decouple the hyperbolic advances of each grid on a given refinement level. This decoupling allows each grid to be advanced independently. In AstroBEAR we utilize this independence by threading the grid advances on each level with preference going to the finer level grids. This allows for global load balancing instead of level by level load balancing and allows for greater parallelization across both physical space and AMR level. Threading of level advances can also improve performance by interleaving communication with computation, especially in deep simulations with many levels of refinement. To improve memory management we have employed a distributed tree algorithm that requires processors to only store and communicate local sections of the AMR tree structure with neighboring processors.

研究の動機と目的

• 従来のレベルごとの負荷バランスを実行するAMRコードの拡張性の制限、特に多数の細分化レベルを持つ深さのあるシミュレーションを制限する点を解決すること。
• AMRツリー構造をプロセッサ間で分散させることで、大規模なAMRシミュレーションにおけるメモリ効率を向上させ、グローバルなメモリアクセスを最小限に抑えること。
• 異なる細分化レベル間でグリッドの進捗を独立してスレーディング可能にすることで、通信遅延中のプロセッサの利用度を向上させ、より高い並列性を実現すること。
• 粗いレベルの進行状況を考慮した動的負荷バランス戦略を導入し、細かいレベルに作業を分配することで、プロセッサ間での作業負荷をバランスさせる。
• 大規模なプロセッサ数におけるAMR-MHDシミュレーションで強い弱いスケーリング性能を示し、新しいアルゴリズム設計の効率性を検証すること。

提案手法

• 異なる細分化レベルのグリッドを並列に進めるためにインターレベルスレーディングを採用し、細かいレベルに高い優先度を与えることで進行を確保し、無駄な待機時間を削減する。
• 各プロセッサがローカルなツリー・ノードのみを保持し、隣接プロセッサとのみ必要なツリー情報を通信することで、分散AMR木を実装し、メモリフットプリントと通信オーバーヘッドを低減する。
• 拡張されたゴーストゾーンを用いて、レベル間のグリッド進捗を分離し、独立した計算を可能にし、同期のボトルネックを低減する。
• 全レベル（0からlまで）の各プロセッサごとの残り作業量を予測し、より細かいレベルのグリッドを再配分することで、総予測作業量をバランスさせる動的負荷バランスアルゴリズムを導入する。
• 予測された残り作業量を $\eta_{l}^{p} = \sum_{l'=0}^{l} (s_{l'}g_{l'}^{p} - w_{l'}^{p})$ として定式化し、$g_{l}^{p} = \overline{g_{l}} - \frac{\eta_{l-1}^{p} - \overline{\eta_{l-1}}}{s_{l}}$ を用いてグリッド配分を調整し、プロセッサ間で $\eta_{l}^{p}$ を均等にする。
• 磁化されたシリンダーの輸送問題（12.5％の充填率）を用いて、最大2048プロセッサでの弱いスケーリングテストにより、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 AMRシミュレーションにおけるインターレベルスレーディングは、通信待機中の負荷バランスと無駄な待機時間を改善するか？
• RQ2 分散AMRツリー構造は、大規模シミュレーションにおけるメモリ使用量と通信効率にどのように影響を与えるか？
• RQ3 複数の細分化レベルにわたる動的負荷バランスは、AMR-MHDシミュレーションにおける弱いスケーリング性能をどの程度向上させるか？
• RQ4 大規模なプロセッサ数における新しいAMRアルゴリズムの弱いスケーリング効率はどの程度か、特に高細分化レベルを持つ深さのあるシミュレーションにおいては？
• RQ5 提案手法は、各レベルを個別に負荷バランスさせる必要がなくても、深さのあるAMR階層（多数のレベル）の実用的利用を可能にするか？

主な発見

• 提案されたインターレベルスレーディング戦略により、全細分化レベルにわたるグローバルな負荷バランスが実現され、各レベルを個別にバランスさせる必要がなくなり、深さのあるAMR階層の効率的利用が可能になる。
• 分散AMRツリーにより、各プロセッサがローカルなツリー情報のみを保持し、隣接プロセッサとのみ通信することで、メモリオーバーヘッドが低減され、スケーラビリティが向上する。
• 動的負荷バランスアルゴリズムは、全粗いレベルおよび現在のレベルの作業量の合計を予測し、調整することで、プロセッサ間での作業負荷を効果的にバランスさせる。
• 実装は、固定グリッドおよびAMRシミュレーションの両方で、2048プロセッサまでに80％を超える弱いスケーリング効率を達成し、1プロセッサあたり64³セルを維持するようにベースグリッド解像度を調整している。
• レベル間の進捗を分離することで、高細分化レベルを有する深さのあるシミュレーションが可能になり、通信待機中でもプロセッサが継続的に利用可能になる。
• 低充填率（例：12.5％）と多数の細分化レベルを持つシミュレーションをサポートし、従来の制限により利用可能なAMRレベル数が制限されていた問題を克服する。