[論文レビュー] ParaDRAM: A Cross-Language Toolbox for Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulations

Amir Shahmoradi, Fatemeh Bagheri|arXiv (Cornell University)|Aug 21, 2020

Markov Chains and Monte Carlo Methods参考文献 49被引用数 8

ひとこと要約

ParaDRAM は、C/C++、Fortran、MATLAB、Python など複数のプログラミング言語で実装された、並列処理・遅延拒否・適応的メトロポリス MCMC シミュレーションを高速に実行する高パフォーマンスでクロスプログラミング言語対応のツールボックスです。完全に自動的で決定論的かつスケーラブルなサンプリングを保証し、効率的なコンactストレージを採用することで、個人用ラップトップからスーパーコンピュータまで、再現可能なかぎりの不確実性評価と推論を実現します。

ABSTRACT

We present ParaDRAM, a high-performance Parallel Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo software for optimization, sampling, and integration of mathematical objective functions encountered in scientific inference. ParaDRAM is currently accessible from several popular programming languages including C/C++, Fortran, MATLAB, Python and is part of the ParaMonte open-source project with the following principal design goals: 1. full automation of Monte Carlo simulations, 2. interoperability of the core library with as many programming languages as possible, thus, providing a unified Application Programming Interface and Monte Carlo simulation environment across all programming languages, 3. high-performance 4. parallelizability and scalability of simulations from personal laptops to supercomputers, 5. virtually zero-dependence on external libraries, 6. fully-deterministic reproducibility of simulations, 7. automatic comprehensive reporting and post-processing of the simulation results. We present and discuss several novel techniques implemented in ParaDRAM to automatically and dynamically ensure the good-mixing and the diminishing-adaptation of the resulting pseudo-Markov chains from ParaDRAM. We also discuss the implementation of an efficient data storage method used in ParaDRAM that reduces the average memory and storage requirements of the algorithm by, a factor of 4 for simple simulation problems, to an order of magnitude and more for sampling complex high-dimensional mathematical objective functions. Finally, we discuss how the design goals of ParaDRAM can help users readily and efficiently solve a variety of machine learning and scientific inference problems on a wide range of computing platforms.

研究の動機と目的

• 複数のプログラミング言語にまたがる複雑なモンテカルロシミュレーションを自動化する統合的で高パフォーマンスな MCMC フレームワークの開発。
• ユーザーの介入なしに、確率的 MCMC チェインの完全な再現可能性と決定論的再開を保証すること。
• MCMC チェインの効率的なコンactストレージ手法により、メモリおよび I/O のオーバーヘッドを最小限に抑えること。
• MPI および PGAS パラダイムを用いて、並列処理をラップトップからスーパーコンピュータまでシームレスに実装し、ユーザーが並列コードを書く必要がないようにすること。
• DRM における適応の減少条件を動的に強制することで、MCMC チェインの収束性と良好な混合性を保証すること。

提案手法

• 適応プロセスの自動的・動的な監視を実装し、減少適応条件を満たすように遅延拒否適応的メトロポリス（DRAM）アルゴリズムを実装。
• フォーク・ジョインおよびパーフェクト並列化モデルを用いて、MCMC チェインを複数のプロセッサに分散処理し、負荷分散と高いスケーラビリティを実現。
• MCMC チェインのメモリおよびストレージ使用量を最大で1桁削減する、新しいコンactデータストレージフォーマットを採用。特に高次元問題において顕著。
• C/C++、Fortran、MATLAB、Python およびその他の言語で、一貫性のある構文と使い方が保証される、単一の統合型アプリケーションプログラミングインターフェース（API）を提供。
• MPI および PGAS（コアレイ）並列化パラダイムを統合し、分散メモリ HPC システムをサポートするとともに、ユーザーが低レベルの並列コーディングを意識しなくてもよいように抽象化。
• シミュレーションの自動的かつ完全に決定論的な再開を可能にし、結果の包括的後処理とレポート出力を実現。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様な科学計算プラットフォームで、決定論的かつ再現可能でスケーラブルなシミュレーションを保証する高パフォーマンスでクロスプログラミング言語対応の MCMC ツールボックスを設計できるか？
• RQ2 適応的 MCMC アルゴリズムにおいて、減少適応条件を動的に強制する技術は何か？ これにより収束性と良好な混合性が保証されるか？
• RQ3 MCMC シミュレーションにおけるメモリおよび I/O オーバーヘッドを、機能性や再現可能性を損なわず最小限に抑えるにはどうすればよいか？
• RQ4 MPI および PGAS 並列化パラダイムをどれほど活用すれば、MCMC サンプリングにおける高いスケーラビリティを達成できるか？ また、使いやすさを維持できるか？
• RQ5 複数のプログラミング言語にまたがる統合的で高水準の API をどのように実装すれば、並列プログラミングの専門知識がなくても、高度な MCMC サンプリングに容易にアクセスできるか？

主な発見

• コンactデータストレージ手法により、単純な問題ではメモリおよびストレージ要件を4分の1に、高次元問題では最大で1桁削減。
• ParaDRAM に実装された DRAM アルゴリズムは、動的な自動監視と調整により、良好な混合性を維持するとともに、減少適応条件を満たしている。
• MPI を用いた並列化は、PGAS（コアレイ）実装を上回る性能を示しており、主に MPI ライブラリの成熟度と最適化の高さ、および現在のコアレイコンパイラーにおける高度な RMA 機能の限られた使用に起因。
• C/C++、Fortran、MATLAB、Python など複数言語にまたがる統合 API により、シミュレーションのセットアップと実行が一貫して容易になり、科学分野のユーザーが利用する際の障壁が著しく低下。
• ParaDRAM は、中断後でも再現可能である決定論的かつ完全自動の再開をサポートしており、大規模な科学的推論において極めて重要。
• ライブラリは非常にスケーラブルであり、個人用ラップトップから世界最高水準のスーパーコンピュータまで、ユーザーが並列コードを記述する必要なく対応可能。