[論文レビュー] Alya: Towards Exascale for Engineering Simulation Codes

Mariano Vázquez, Guillaume Houzeaux+10 more|arXiv (Cornell University)|Apr 18, 2014

Advanced Numerical Methods in Computational Mathematics参考文献 14被引用数 23

ひとこと要約

この論文では、工学的応用分野におけるエクサスケールコンピューティングを前提に、ゼロから設計された高性能でマルチフィジックスシミュレーションコードであるAlyaを提示している。Blue Watersスパコン上で10万コアまで、持続的なスケーラビリティと高い並列効率を達成しており、非構造格子とハイブリッドMPI+OpenMP並列化、およびカスタムスパースソルバーを用いて、流体力学、燃焼、電機械的システムにおける複雑な結合問題を効率的に解いている。

ABSTRACT

Alya is the BSC in-house HPC-based multi-physics simulation code. It is designed from scratch to run efficiently in parallel supercomputers, solving coupled problems. The target domain is engineering, with all its particular features: complex geome- tries and unstructured meshes, coupled multi-physics with exotic coupling schemes and Physical models, ill-posed problems, flexibility needs for rapidly including new models, etc. Since its conception in 2004, Alya has shown scaling behaviour in an increasing number of cores. In this paper, we present its performance up to 100.000 cores in Blue Waters, the NCSA supercomputer. The selected tests are representative of the engineering world, all the problematic features included: incompressible flow in a hu- man respiratory system, low Mach combustion problem in a kiln furnace and coupled electro-mechanical problem in a heart. We show scalability plots for all cases, discussing all the aspects of such kind of simulations, including solvers convergence.

研究の動機と目的

• エクサスケール対応を想定した高性能コンピューティング（HPC）コードアーキテクチャを用いて、大規模で結合されたマルチフィジックスシミュレーションを可能にすること。
• 複雑な幾何形状、非構造格子、および特異な結合スキームを有する物理現象のシミュレーションにおける課題に対処すること。
• 特に現実の工学的問題を想定した文脈において、ペタスケールスパコン上で高い並列効率とスケーラビリティを達成すること。
• 1万〜数万コアの規模で動作する、自作のハイブリッド並列ソルバースタック（MPI + OpenMP）と社内開発のスパース線形ソルバーの性能を評価すること。
• 多様で現実的なシミュレーションワークロードを対象に、スケーラビリティと収束特性の検証を通じて、工学的分野におけるエクサスケールコンピューティングの基盤を築くこと。

提案手法

• Alyaは、非構造格子（四面体、六面体、角柱、ピラミッド）を用いた変分有限要素法に基づき、並列スーパーコンピューティングを前提にゼロから構築されたモジュラーでマルチフィジックスコードである。
• 時間積分スキームには明示的および暗黙的スキームを併用し、モノリシックまたはステージド（段階的）な結合戦略を採用しており、特に大規模問題ではステージド戦略と結合反復を優先している。
• 領域分割により並列化を実現しており、MPIを用いた分散メモリ並列化と、計算負荷の高いループにおけるOpenMPを用いた共有メモリ並列化を組み合わせ、ハイブリッドMPI+OpenMP実行を可能としている。
• カスタムスパース線形ソルバーは並列化戦略と密接に統合されており、外部ライブラリに依存せず、非構造格子に最適化されたパフォーマンスを実現している。
• 大規模シミュレーションの管理のため、メッシュの部分分割（メッシュサブディビジョン）が主要な技術として用いられ、大規模コア数環境における効率的な負荷分散とスケーラビリティを実現している。
• 保存則の変分的定式化を、偏微分方程式（PDE）として表現し、部分積分を用いて弱形式を導出することで、複雑な領域においても安定的かつ一貫性のある離散化を可能としている。

実験結果

リサーチクエスチョン

• RQ1 マルチフィジックスシミュレーションコードは、10万コア規模で、複雑な工学的問題に対して高い並列効率とスケーラビリティを達成できるか？
• RQ2 AlyaのハイブリッドMPI+OpenMP並列化戦略は、多様な物理分野にまたがる大規模非構造格子に対して、どの程度の性能を示すか？
• RQ3 インクリメンタルソルバーのスケーラビリティと収束特性は、非可縮流体や電機械的結合のような、結合された、不安定または非線形な問題に適用した場合にどうなるか？
• RQ4 メッシュの部分分割と領域分割は、ペタスケールシステムにおける負荷バランスとパフォーマンスの維持にどの程度有効か？
• RQ5 ペタスケールからエクサスケールへの移行に際して、パフォーマンスのボトル neck や主な要件は何か？

主な発見

• AlyaはBlue Waters上で10万コアまで持続的な並列効率を達成しており、呼吸器内流れ、窯燃焼、心臓の電気的・機械的結合という3つのベンチマーク問題すべてにおいて、一貫した性能を示した。
• メッシュ部分分割を適用したDIV3ケースでは、10万コアまで高い効率が維持された。これは、スケールアップにおけるパフォーマンス維持に、メッシュ管理戦略が極めて重要であることを示している。
• DIV2ケースでは、1,024コアではなく32,768コアを基準に正規化した場合にスケーリングが向上した。これは、負荷分散とパーティショニングの質が、極めて大規模なコア数環境下でのスケーラビリティに顕著に影響することを示している。
• 暗黙的ソルバーはすべてのテストケースで安定して収束した。収束特性の分析により、数十億要素を有する非常に大きな非構造格子に対しても、安定した収束が確認された。
• 並列化レイヤーと密接に統合されたカスタムスパースソルバーの使用により、外部ライブラリに依存せず、スケーラビリティと保守性の両面で高いパフォーマンスが実現された。
• HDF5を用いたポストプロセッシングI/Oが、将来的なエクサスケールワークフローにおいて最適化が必要なボトル neck であることが特定された。