[论文解读] Fast fully-reproducible serial/parallel Monte Carlo and MCMC simulations and visualizations via ParaMonte::Python library

Amir Shahmoradi, Fatemeh Bagheri+1 more|arXiv (Cornell University)|Oct 1, 2020

Markov Chains and Monte Carlo Methods参考文献 12被引用 12

一句话总结

该论文介绍了 ParaMonte::Python，一个高性能、完全可复现且完全确定性的库，用于贝叶斯推断中的串行和MPI并行化马尔可夫链蒙特卡洛（MCMC）模拟。它支持在共享内存和分布式内存系统上无缝、可重启的模拟，无需编写并行代码，提供Python、MATLAB以及C++/Fortran之间的统一API，并具备自动后处理和可视化工具，同时确保在16位小数范围内位级完全一致的可复现性。

ABSTRACT

ParaMonte::Python (standing for Parallel Monte Carlo in Python) is a serial and MPI-parallelized library of (Markov Chain) Monte Carlo (MCMC) routines for sampling mathematical objective functions, in particular, the posterior distributions of parameters in Bayesian modeling and analysis in data science, Machine Learning, and scientific inference in general. In addition to providing access to fast high-performance serial/parallel Monte Carlo and MCMC sampling routines, the ParaMonte::Python library provides extensive post-processing and visualization tools that aim to automate and streamline the process of model calibration and uncertainty quantification in Bayesian data analysis. Furthermore, the automatically-enabled restart functionality of ParaMonte::Python samplers ensure seamless fully-deterministic into-the-future restart of Monte Carlo simulations, should any interruptions happen. The ParaMonte::Python library is MIT-licensed and is permanently maintained on GitHub at https://github.com/cdslaborg/paramonte/tree/master/src/interface/Python.

研究动机与目标

• 为解决贝叶斯推断中缺乏完全确定性、高性能且可移植的MCMC工具的问题，这些工具需支持无缝重启和跨语言一致性。
• 为Python、MATLAB和C++/Fortran中的蒙特卡洛和MCMC模拟提供统一、用户友好的API，确保语法和功能的一致性。
• 在无需用户编写并行代码的前提下，实现在共享内存和分布式内存架构上的可扩展、高性能MCMC模拟。
• 自动化MCMC结果的后处理和可视化，减轻用户在模型校准和不确定性量化方面的负担。
• 通过实现完全确定性的重启机制，确保即使在运行时中断，也能完全复现模拟结果。

提出的方法

• 该库基于ParaMonte内核库构建，后者在C、C++和Fortran中提供高性能、低级别的MCMC采样器，确保最佳性能和可复现性。
• 通过与MATLAB版本一致的统一API，将这些采样器暴露为Python接口，实现在不同编程语言间的无缝使用。
• 在MPI并行模式下，采用Fork-Join并行范式，多个处理器共同构建单个马尔可夫链，其贡献被建模为几何分布。
• 自动创建报告文件，包含性能指标，包括处理器贡献分布，以指导最优进程数选择。
• 通过保留随机数生成器种子和输出文件名，原生支持重启功能，确保中断模拟可位级完全一致地恢复。
• 后处理和可视化通过可选依赖项（如matplotlib、seaborn）实现，若缺少这些依赖项则在导入时发出警告，确保在HPC环境中稳健部署。

实验结果

研究问题

• RQ1 能否在Python中构建一个高性能、完全确定性且可重启的MCMC库，确保运行和重启之间位级完全一致的可复现性？
• RQ2 如何为Python、MATLAB以及C++/Fortran等多种编程语言设计MCMC模拟的统一API，以确保使用和语法的一致性？
• RQ3 大规模MCMC模拟的最优处理器数量是多少？能否基于性能指标自动预测？
• RQ4 在Fork-Join并行MCMC中，单个处理器对单个马尔可夫链的贡献是否可建模并可视化，以指导性能调优？
• RQ5 如何实现后处理和可视化的自动化，并将其与核心模拟解耦，以提升在HPC系统上的可移植性和可用性？

主要发现

• ParaMonte::Python库可实现完全确定性的位级一致重启，中断模拟的恢复结果与原始链在16位小数范围内完全一致。
• 在Fork-Join并行MCMC模拟中，处理器的贡献服从几何分布，该分布会自动计算并报告在模拟输出中。
• 通过短时间运行的性能数据，可近似估算给定模拟的最优处理器数量，从而实现在超级计算机上的高效扩展。
• 该库在仅依赖numpy的前提下实现高性能，无需其他外部依赖，确保即使在部分可视化库不可用的HPC系统上也能轻松安装和部署。
• Python、MATLAB和C++/Fortran之间统一的API确保了使用的一致性，降低了用户在多语言环境中工作的学习成本。
• 当安装了必需依赖项时，库的后处理和可视化工具会自动启用；若缺少依赖项，则在导入时发出明确警告。