[论文解读] Korali: a High-Performance Computing Framework for Stochastic Optimization and Bayesian Uncertainty Quantification.

S. Martín Martín, Daniel Wälchli+2 more|arXiv (Cornell University)|May 27, 2020

Gaussian Processes and Bayesian Inference参考文献 1被引用 6

一句话总结

Korali 是一个模块化、开源的高性能计算框架，专为在计算密集型科学与工程模型中实现可扩展的随机优化和贝叶斯不确定性量化而设计。它支持在分布式计算环境中实现容错性、负载均衡的大规模并行模拟执行，已在 Piz Daint 超级计算机上实现高达 4096 个节点的高效扩展，适用于 LAMMPS 和 Mirheo 工作负载。

ABSTRACT

We present a modular, open-source, high-performance computing framework for data-driven Bayesian uncertainty quantification and stochastic optimization. The proposed framework (Korali) is well suited for the non-intrusive sampling of computationally demanding engineering and scientific models. The framework's distributed-execution engine allows for the efficient execution of massively-parallel computational models while providing fault tolerance and load balancing mechanisms. In this paper, we present our framework's design principles and explain its flexibility in allowing scientists to deploy stochastic methods at scale. We demonstrate the capabilities of Korali for Bayesian inference and optimization studies using existing high-performance software such as LAMMPS (CPU-Based) and Mirheo (GPU-Based) and show scaling efficiently on up to 4096 nodes of the CSCS Piz Daint supercomputer.

研究动机与目标

• 解决在计算成本高昂的科学与工程模型中高效执行贝叶斯不确定性量化和随机优化的挑战。
• 提供一个模块化、开源的框架，支持对复杂模型进行非侵入式采样。
• 在分布式高性能计算环境中实现容错性和负载均衡。
• 在数千个计算节点上扩展随机模拟，同时保持效率与可靠性。
• 与现有的高性能仿真软件（如 LAMMPS 和 Mirheo）无缝集成。

提出的方法

• 该框架采用分布式执行引擎，用于管理和协调大规模并行计算工作负载。
• 支持非侵入式采样，允许外部模型在不修改代码的情况下执行。
• 通过检查点机制和任务恢复机制实现容错性，确保长时间运行的模拟稳定可靠。
• 通过负载均衡机制，将计算任务均匀分配到可用节点上。
• 框架设计为可与现有的 HPC 软件栈互操作，包括基于 CPU 的（LAMMPS）和基于 GPU 的（Mirheo）仿真器。
• 采用模块化架构，支持灵活部署随机优化与贝叶斯推断算法。

实验结果

研究问题

• RQ1 如何高效地对计算成本高昂的科学模型执行贝叶斯不确定性量化？
• RQ2 哪些架构模式能够实现在大规模随机模拟中的容错性与负载均衡？
• RQ3 模块化 HPC 框架在非侵入式采样场景下，能够在数千个计算节点上实现多大程度的可扩展性？
• RQ4 Korali 如何与现有的高性能仿真软件（如 LAMMPS 和 Mirheo）集成？
• RQ5 在现代超级计算机上，使用 Korali 实现随机优化与推断可获得多大的性能提升？

主要发现

• Korali 在高性能计算系统上成功实现了可扩展的贝叶斯推断与随机优化。
• 该框架在 CSCS 的 Piz Daint 超级计算机上实现了高达 4096 个节点的高效扩展。
• 在长时间运行、计算密集型的模拟中，实现了容错性与负载均衡。
• 与 LAMMPS（基于 CPU）和 Mirheo（基于 GPU）工作负载的集成无缝且高效。
• 框架支持非侵入式采样，保留了原始模型接口，降低了开发开销。
• 模块化设计使科学家能够在不修改其现有仿真代码的前提下，大规模部署随机方法。