[論文レビュー] Korali: a High-Performance Computing Framework for Stochastic Optimization and Bayesian Uncertainty Quantification.

S. Martín Martín, Daniel Wälchli+2 more|arXiv (Cornell University)|May 27, 2020

Gaussian Processes and Bayesian Inference参考文献 1被引用数 6

ひとこと要約

Korali は、計算的に高負荷な科学的・工学的モデルにおけるスケーラブルな確率的最適化およびベイジアン不確実性評価を目的としたモジュラーでオープンソースの高性能コンピューティングフレームワークです。分散コンピューティングを用いて、障害耐性があり負荷分散された大規模並列シミュレーションを実行可能であり、Piz Daint スーパーコンピュータ上で最大 4096 ノードまで効率的なスケーリングを実現しました。LAMMPS および Mirheo ワークロードを用いた実験でその有効性が確認されています。

ABSTRACT

We present a modular, open-source, high-performance computing framework for data-driven Bayesian uncertainty quantification and stochastic optimization. The proposed framework (Korali) is well suited for the non-intrusive sampling of computationally demanding engineering and scientific models. The framework's distributed-execution engine allows for the efficient execution of massively-parallel computational models while providing fault tolerance and load balancing mechanisms. In this paper, we present our framework's design principles and explain its flexibility in allowing scientists to deploy stochastic methods at scale. We demonstrate the capabilities of Korali for Bayesian inference and optimization studies using existing high-performance software such as LAMMPS (CPU-Based) and Mirheo (GPU-Based) and show scaling efficiently on up to 4096 nodes of the CSCS Piz Daint supercomputer.

研究の動機と目的

• 計算的に高負荷な科学的・工学的モデルにおける効率的なベイジアン不確実性評価および確率的最適化を実現すること。
• 複雑なモデルの非侵襲的サンプリングをサポートするモジュラーでオープンソースのフレームワークを提供すること。
• 分散型高性能コンピューティング環境における障害耐性および負荷分散を実現すること。
• 数千のコンピューティングノードにわたるスケーリングを維持しながら、確率的シミュレーションの効率性と信頼性を確保すること。
• LAMMPS や Mirheo といった既存の高性能シミュレーションソフトウェアとシームレスに統合できること。

提案手法

• フレームワークは、大規模並列計算ワークロードを管理・調整する分散実行エンジンを採用している。
• 非侵襲的サンプリングをサポートしており、外部モデルをコード変更なしに実行可能である。
• 長時間にわたるシミュレーション中にチェックポイントとタスクのリカバリメカニズムを用いて障害耐性を実現している。
• 計算タスクを利用可能なノードに均等に分散する負荷分散が実装されている。
• CPU ベース（LAMMPS）および GPU ベース（Mirheo）のシミュレータを含む、既存の HPC ソフトウェアスタックと相互運用可能である。
• 確率的最適化およびベイジアン推論アルゴリズムの柔軟なデプロイメントを可能にするモジュラーなアーキテクチャを採用している。

実験結果

リサーチクエスチョン

• RQ1 計算的に高負荷な科学的モデルにおけるベイジアン不確実性評価をどのように効率的に行えるか？
• RQ2 大規模な確率的シミュレーションにおいて、障害耐性および負荷分散を実現するアーキテクチャパターンは何か？
• RQ3 モジュラー HPC フレームワークが、非侵襲的サンプリングを対象として数千のコンピューティングノードにスケーリングできる範囲はどの程度か？
• RQ4 Korali は LAMMPS や Mirheo といった既存の高性能シミュレーションソフトウェアとどのように統合されるか？
• RQ5 現代のスーパーコンピュータ上で、Korali を用いることで確率的最適化および推論でどの程度のパフォーマンス向上が達成できるか？

主な発見

• Korali は、高性能コンピューティングシステム上でスケーラブルなベイジアン推論および確率的最適化を実現した。
• CSCS の Piz Daint スーパーコンピュータ上で最大 4096 ノードまで効率的なスケーリングを達成した。
• 計算負荷の高い長時間のシミュレーションにおいて、障害耐性および負荷分散が実現された。
• LAMMPS（CPU ベース）および Mirheo（GPU ベース）のワークロードとの統合は、シームレスかつ効果的であった。
• 非侵襲的サンプリングが可能であり、元のモデルインターフェースを維持したまま開発のオーバーヘッドを低減した。
• モジュラー設計のおかげで、科学者が既存のシミュレーションコードを変更せずにスケールアップした確率的手法をデプロイできるようになった。