[論文レビュー] A Modular and Extensible Software Architecture for Particle Dynamics

Sebastian Eibl, Ulrich Rüde|arXiv (Cornell University)|Jun 26, 2019

Distributed and Parallel Computing Systems参考文献 16被引用数 4

ひとこと要約

本論文では、waLBerla HPCエコシステム内におけるモジュラーで拡張可能な粒子動力学フレームワーク、MESA-PDを提示する。コード生成とアクセサ抽象化を用いることで、物理カーネルとデータ構造を分離する。このアプローチにより、ドメイン科学者が並列処理やデータ構造の詳細を深く理解しなくても、相互作用モデルを実装・拡張可能となり、メモリレイアウト、I/O、MPI通信の自動的・型安全なコード生成を通じて、高いパフォーマンス、スケーラビリティ、保守性を実現する。

ABSTRACT

Creating a highly parallel and flexible discrete element software requires an interdisciplinary approach, where expertise from different disciplines is combined. On the one hand domain specialists provide interaction models between particles. On the other hand high-performance computing specialists optimize the code to achieve good performance on different hardware architectures. In particular, the software must be carefully crafted to achieve good scaling on massively parallel supercomputers. Combining all this in a flexible and extensible, widely usable software is a challenging task. In this article we outline the design decisions and concepts of a newly developed particle dynamics code MESA-PD that is implemented as part of the waLBerla multi-physics framework. Extensibility, flexibility, but also performance and scalability are primary design goals for the new software framework. In particular, the new modular architecture is designed such that physical models can be modified and extended by domain scientists without understanding all details of the parallel computing functionality and the underlying distributed data structures that are needed to achieve good performance on current supercomputer architectures. This goal is achieved by combining the high performance simulation framework waLBerla with code generation techniques. All code and the code generator are released as open source under GPLv3 within the publicly available waLBerla framework (www.walberla.net).

研究の動機と目的

• ドメイン科学者が並列コンピューティングやデータ構造の詳細を深く理解しなくても、粒子相互作用モデルを実装・拡張できるようにすること。
• モジュラーで拡張可能なソフトウェアアーキテクチャを通じて、現代のスーパーコンピュータ上で高いパフォーマンスと強いスケーリングを達成すること。
• 物理カーネルをデータ保存および通信ロジックから分離することで、保守性と移植性を向上させること。
• 特定のシミュレーション要件に適した、柔軟なドメイン分割と動的粒子データ構造をサポートすること。
• 統一インターフェースを通じて同じ分割とデータレイアウトを共有することにより、他のシミュレーションモジュールとの結合を容易にすること。

提案手法

• 2段階のコード生成パイプラインを採用：まず高レベルのPython DSLで粒子の性質と相互作用モデルを指定し、次にJinjaテンプレートベースのC++コード生成を行う。
• 粒子データアクセスを抽象化するアクセサインターフェースを導入し、任意のデータ構造に対して一様なAPIを通じてカーネルが動作可能になるようにする。
• ユーザーが定義した粒子の性質に基づき、自動的にMPIシリアル化、デバッグ出力、VTKエクスポート、データベースI/Oの低レベルコードを生成する。
• 状態なしのテンプレートベースのファンクタとして相互作用カーネルを設計し、アクセサインターフェースのみを通じて動作させる。これにより、データレイアウトに依存しない独立性を確保する。
• waLBerlaフレームワークの並列インfraストラクチャを活用し、分散メモリシステム上で高いパフォーマンスとスケーラビリティを実現する。
• 新しい粒子の性質や相互作用モデルを構成ファイルによる追加で可能にすることで、コアフレームワークロジックを変更せずに拡張性を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてドメイン科学者が並列コンピューティングの詳細を深く理解しなくても、物理モデルを拡張できる粒子動力学シミュレーションフレームワークをアーキテクチャ設計できるか？
• RQ2 モジュラリティと拡張性を維持しつつ、高性能で強いスケーリングを実現するための技術は何か？
• RQ3 シミュレーションごとに動的にデータ構造を組み合わせることで、メモリの肥大化を回避し、パフォーマンスを向上させることは可能か？
• RQ4 抽象化によって物理カーネルをデータレイアウトや通信メカニズムから完全に独立させることは可能か？
• RQ5 自動コード生成は、HPC粒子シミュレーションフレームワークにおける開発時間とエラー率をどの程度短減できるか？

主な発見

• コード生成パイプラインにより、手動でのコーディングが削減され、メモリパック、I/O、MPI通信の整合性があり型安全な実装が自動生成される。
• アクセサ抽象化により、物理カーネルがデータレイアウトから完全に分離され、異なるデータ構造やフレームワーク間で再利用可能になる。
• フレームワークは柔軟なドメイン分割をサポートしており、マルチフィジックスシミュレーションにおける結合効率とワークロードバランスを向上させる。
• 動的粒子データ構造は、シミュレーションの要件に応じてオンデマンドで生成され、不要なメモリの使用を回避し、パフォーマンスを向上させる。
• アクセサとコード生成による責任の分離により、ドメイン科学者が物理モデルに、HPCスペシャリストがパフォーマンスにそれぞれ独立して作業でき、コードベースの混同を回避できる。
• アクセサとコード生成による分離により、生成関数間の整合性と正しさが保証され、手動でのデータレイアウトとI/Oルーチンの同期ミスに起因する微妙なバグが排除される。