[論文レビュー] Fast fully-reproducible serial/parallel Monte Carlo and MCMC simulations and visualizations via ParaMonte::Python library

Amir Shahmoradi, Fatemeh Bagheri+1 more|arXiv (Cornell University)|Oct 1, 2020

Markov Chains and Monte Carlo Methods参考文献 12被引用数 12

ひとこと要約

この論文では、ベイズ推論における直列およびMPI並列化されたマルコフ連鎖モンテカルロ（MCMC）シミュレーションのための、高性能で完全に再現可能かつ完全に決定論的なライブラリ、ParaMonte::Pythonを紹介する。このライブラリは、共有メモリおよび分散メモリシステム間でシームレスに再開可能なシミュレーションを可能にし、並列コーディングを一切不要とし、Python、MATLAB、C++/Fortran間で統一されたAPIを提供する。加えて、自動化された後処理および可視化ツールも備え、16桁までのビット同一再現性を保証する。

ABSTRACT

ParaMonte::Python (standing for Parallel Monte Carlo in Python) is a serial and MPI-parallelized library of (Markov Chain) Monte Carlo (MCMC) routines for sampling mathematical objective functions, in particular, the posterior distributions of parameters in Bayesian modeling and analysis in data science, Machine Learning, and scientific inference in general. In addition to providing access to fast high-performance serial/parallel Monte Carlo and MCMC sampling routines, the ParaMonte::Python library provides extensive post-processing and visualization tools that aim to automate and streamline the process of model calibration and uncertainty quantification in Bayesian data analysis. Furthermore, the automatically-enabled restart functionality of ParaMonte::Python samplers ensure seamless fully-deterministic into-the-future restart of Monte Carlo simulations, should any interruptions happen. The ParaMonte::Python library is MIT-licensed and is permanently maintained on GitHub at https://github.com/cdslaborg/paramonte/tree/master/src/interface/Python.

研究の動機と目的

• ベイズ推論において、シームレスな再開とクロスプログラミング言語間の一貫性をサポートする、完全に決定論的で高性能でポータブルなMCMCツールの不足に対処すること。
• Python、MATLAB、C++/Fortran間で一貫した構文と機能を保証する、モンテカルロおよびMCMCシミュレーションのための統一的で使いやすいAPIを提供すること。
• ユーザーが並列コードを書く必要なく、共有メモリおよび分散メモリアーキテクチャ上でスケーラブルで高性能なMCMCシミュレーションを実行できること。
• MCMCの結果の後処理と可視化を自動化し、モデルキャリブレーションおよび不確実性評価におけるユーザーの負担を軽減すること。
• ランタイムの中断後でも完全な再現性を確保するため、完全に決定論的な再開メカニズムを実装すること。

提案手法

• ライブラリは、C、C++、Fortranで実装された高性能で低レベルのMCMCサンプラーを提供するParaMonteコアライブラリに基づいている。これにより、最適なパフォーマンスと再現性が保証される。
• MATLAB版と同一のAPIを備えたPythonインターフェースを通じて、これらのサンプラーを公開し、複数言語間での一貫した使用を可能にする。
• MPI並列モードでは、フォーク・ジョイン並列化パラダイムを採用し、複数のプロセッサが1つのマルコフ連鎖の構築に寄与する。その寄与は幾何分布でモデル化される。
• パフォーマンスメトリクス（プロセッサの寄与分布など）を含むレポートファイルを自動生成し、最適なプロセッサ数の選定を支援する。
• ランダム数生成器のシードと出力ファイル名を保存することで、中断されたシミュレーションをビット同一で再開可能にし、ネイティブに再開機能を実装する。
• 後処理と可視化はオプションの依存関係（例：matplotlib、seaborn）を介して処理され、これらのライブラリが欠落している場合はインポート時に明確な警告を出力することで、HPC環境への堅牢なデプロイを確保する。

実験結果

リサーチクエスチョン

• RQ1 Pythonで実装された高性能で完全に決定論的かつ再開可能なMCMCライブラリを構築可能か？ また、実行間および再開時においてビット同一の再現性を維持できるか？
• RQ2 Python、MATLAB、C++/Fortranを含む複数のプログラミング言語間で、MCMCシミュレーションのための統一APIをどのように設計すれば、一貫した使用法と構文を保証できるか？
• RQ3 大規模なMCMCシミュレーションにおける最適なプロセッサ数は何か？ また、パフォーマンスメトリクスからその数を自動的に予測可能か？
• RQ4 フォーク・ジョイン並列化における個々のプロセッサの1つのマルコフ連鎖への寄与をモデル化・可視化可能か？ これによりパフォーマンスチューニングの支援が可能か？
• RQ5 後処理と可視化をコアシミュレーションから分離して自動化することで、HPCシステム上でのポータビリティと使いやすさを向上できるか？

主な発見

• ParaMonte::Pythonライブラリは、中断されたシミュレーションを完全に決定論的かつビット同一で再開可能であり、再開結果は元の連鎖と16桁まで一致する。
• フォーク・ジョイン並列MCMCシミュレーションにおけるプロセッサの寄与は幾何分布に従い、これが自動的に計算され、シミュレーション出力にレポートされる。
• 短時間の実行から得られるパフォーマンスデータを用いることで、特定のシミュレーションにおける最適なプロセッサ数を近似的に推定可能であり、スパコン上での効率的スケーリングが可能である。
• numpy以外に外部依存を一切持たないため、HPCシステムで一部の可視化ライブラリが利用不可であっても、インストールおよびデプロイが容易に実現され、高いパフォーマンスを発揮する。
• Python、MATLAB、C++/Fortran間で統一されたAPIにより、一貫した使用法が保証され、複数言語で作業するユーザーの学習コストが低減される。
• 必要な依存関係がインストールされている場合、ライブラリの後処理および可視化ツールは自動的に有効化される。依存関係が欠落している場合はインポート時に明確な警告が表示される。