[論文レビュー] ls1 mardyn: The massively parallel molecular dynamics code for large systems

Christoph Niethammer, Stefan Becker+10 more|PubMed|Aug 20, 2014

Advanced Physical and Chemical Molecular Interactions参考文献 1被引用数 43

ひとこと要約

ls1 mardyn は、最大 10^12 個の粒子を有する大規模な系のシミュレーションを目的とした、非常にスケーラブルで大規模並列な分子動力学コードである。動的負荷バランスと効率的な MPI 通信を用いて、140,000 コア以上でニア・パラレルスケーリングを達成し、世界記録となる 4.125 × 10^12 個の分子を 591.2 TFLOPS の性能でシミュレートした。これにより、マイクロメータースケールおよびマイクロ秒時間スケールの複雑な流体系のシミュレーションが可能になった。

ABSTRACT

The molecular dynamics simulation code ls1 mardyn is presented. It is a highly scalable code, optimized for massively parallel execution on supercomputing architectures and currently holds the world record for the largest molecular simulation with over four trillion particles. It enables the application of pair potentials to length and time scales that were previously out of scope for molecular dynamics simulation. With an efficient dynamic load balancing scheme, it delivers high scalability even for challenging heterogeneous configurations. Presently, multicenter rigid potential models based on Lennard-Jones sites, point charges, and higher-order polarities are supported. Due to its modular design, ls1 mardyn can be extended to new physical models, methods, and algorithms, allowing future users to tailor it to suit their respective needs. Possible applications include scenarios with complex geometries, such as fluids at interfaces, as well as nonequilibrium molecular dynamics simulation of heat and mass transfer.

研究の動機と目的

• 10^12 個の粒子を有する系のシミュレーションが可能な大規模並列分子動力学コードの開発。
• 複雑な幾何形状における不均一で急変する分子分布のシミュレーションという課題への対処。
• 特に非平衡および界面支配のプロセスに適した、現代のスーパーコンputングアーキテクチャにおける高いスケーラビリティの実現。
• マルチセンターライドポテンシャル、点電荷、および高次極性といった高度な物理モデルのサポート。
• 将来の HPC や分子モデリングの進歩を支援する、モジュラーで拡張可能かつ公開可能なソフトウェアフレームワークの提供。

提案手法

• 不均一で時間的に変化する粒子分布においても高いパフォーマンスを維持するため、動的負荷バランス手法を採用。
• 拡張性と新しい物理モデルの統合を可能にする、コンponentベース設計に基づくモジュラーなソフトウェアアーキテクチャを採用。
• MPI を用いた効率的なドメイン分割を実装し、3D トーラスインターコネクト（例：Cray XE6 Gemini）および InfiniBand（SuperMuc）に最適化された通信を実現。
• 複雑な流体の正確なモデリングを可能にする、複数の相互作用サイト（Lennard-Jones、点電荷、高次マルチポール）を有する剛体体の動力学をサポート。
• 計算効率を確保するため、速度-ベルレ法を用いた時間積分と短距離カットオフ（例：3.5σ）を採用。
• 現代の HPC システムのトポロジーに合わせて最適化された、通信パターンを高度に最適化し、レイテンシを最小限に抑え、帯域幅を最大化。

実験結果

リサーチクエスチョン

• RQ1 140,000 コア以上で、大規模な流体系のシミュレーションにおいて、ニア・パラレルスケーリングを達成できるか？
• RQ2 動的負荷バランスは、不均一で非平衡な系において、高いパフォーマンスを維持するためにどれほど有効か？
• RQ3 現在の MD コードで達成可能な最大の系サイズは何か？また、マイクロメータースケールおよびマイクロ秒時間スケールに達することができるか？
• RQ4 3D トーラス型と木構造型のインターコネクトを比較した場合、ls1 mardyn のパフォーマンスはどのように異なるか？
• RQ5 モジュラーで拡張可能なコードベースは、将来の物理モデルや HPC 硬件の進化に対し、どの程度柔軟に対応できるか？

主な発見

• ls1 mardyn は、hermit スーパーコンピュータの 32,768 コアで並列効率 82.5% を達成し、SuperMuc より優れた強スケーリングを示した。
• 32,768 コアで弱スケーリング効率 91.5%、76.8 TFLOPS を達成し、ピーク性能の 12.8% を達成した。
• これまでで最大の MD シミュレーションとして、SuperMuc で 4.125 × 10^12 個の分子をシミュレートし、1 コアと比較して 133,183 倍のスループット向上を達成した。
• 絶対性能として 591.2 TFLOPS を達成し、140,000 コアでピーク性能の 9.4% を達成した。
• 動的負荷バランスは、挑戦的で不均一な構成においてスケーラビリティを著しく向上させ、多様な系の形状において安定したパフォーマンスを実現した。
• コードは二条項BSDライセンスで公開されており、将来の HPC システムや物理モデルへの適応を支援している。