[논문 리뷰] Fast fully-reproducible serial/parallel Monte Carlo and MCMC simulations and visualizations via ParaMonte::Python library

Amir Shahmoradi, Fatemeh Bagheri외 1명|arXiv (Cornell University)|2020. 10. 01.

Markov Chains and Monte Carlo Methods참고 문헌 12인용 수 12

한 줄 요약

이 논문은 베이지안 추론에서 순차적 및 MPI-병렬 MCMC 시뮬레이션을 위한 고성능, 완전히 재현가능하고 완전히 결정적인 라이브러리인 ParaMonte::Python을 소개한다. 이는 공유 메모리 및 분산 메모리 시스템에서 병행 프로그래밍 없이도 원활하고 재시작 가능한 시뮬레이션을 가능하게 하며, 파이썬, MATLAB, C++/포트란 간 통일된 API를 제공하고, 자동화된 후처리 및 시각화 도구를 함께 제공하며, 최대 16자리 소수까지 비트 수준 동일 재현성을 보장한다.

ABSTRACT

ParaMonte::Python (standing for Parallel Monte Carlo in Python) is a serial and MPI-parallelized library of (Markov Chain) Monte Carlo (MCMC) routines for sampling mathematical objective functions, in particular, the posterior distributions of parameters in Bayesian modeling and analysis in data science, Machine Learning, and scientific inference in general. In addition to providing access to fast high-performance serial/parallel Monte Carlo and MCMC sampling routines, the ParaMonte::Python library provides extensive post-processing and visualization tools that aim to automate and streamline the process of model calibration and uncertainty quantification in Bayesian data analysis. Furthermore, the automatically-enabled restart functionality of ParaMonte::Python samplers ensure seamless fully-deterministic into-the-future restart of Monte Carlo simulations, should any interruptions happen. The ParaMonte::Python library is MIT-licensed and is permanently maintained on GitHub at https://github.com/cdslaborg/paramonte/tree/master/src/interface/Python.

연구 동기 및 목표

• 베이지안 추론에서 원활한 재시작과 다국적 언어 일관성을 지원하는 완전히 결정적이고 고성능이며 이식 가능한 MCMC 도구의 부족을 해결하기 위해.
• 파이썬, MATLAB, C++/포트란 간 몽테카를로 및 MCMC 시뮬레이션을 위한 통일되고 사용자 友好的한 API를 제공하여 일관된 문법과 기능을 보장하기 위해.
• 사용자가 병행 코드를 작성할 필요 없이 공유 메모리 및 분산 메모리 아키텍처에서 확장 가능하고 고성능의 MCMC 시뮬레이션을 가능하게 하기 위해.
• 모델 校정 및 불확실성 정량화 과정에서 사용자 부담을 줄이기 위해 MCMC 결과의 자동 후처리 및 시각화를 가능하게 하기 위해.
• 실행 중 중단이 발생하더라도 완전히 결정적인 재시작 메커니즘을 통해 시뮬레이션의 완전한 재현 가능성을 보장하기 위해.

제안 방법

• 라이브러리는 고성능, 저수준의 MCMC 샘플러를 C, C++, 포트란으로 제공하는 ParaMonte 커널 라이브러리에 기반하며, 최적의 성능과 재현 가능성을 보장한다.
• 이러한 샘플러들은 파이썬 인터페이스를 통해 노출되며, MATLAB 버전을 모방한 통일된 API를 제공하여 다국적 언어 간 일관된 사용을 가능하게 한다.
• MPI-병렬 모드에서는 포크-조인 병행 처리 파라다임을 사용하며, 여러 프로세서가 단일 마르코프 체인의 구성에 기여한다. 기여는 기하분포로 모델링된다.
• 성능 메트릭스(예: 프로세서 기여 분포 포함)를 포함한 보고서 파일을 자동으로 생성하여 최적의 프로세스 수 선택을 안내한다.
• 랜덤 넘버 생성기 시드와 출력 파일 이름을 유지함으로써 재시작 功能가 원천적으로 구현되어, 중단된 시뮬레이션을 비트 수준 동일하게 재개할 수 있다.
• 후처리 및 시각화 기능은 선택적 종속성(matplotlib, seaborn 등)을 통해 처리되며, 이들이 누락된 경우 임포트 시 경고 메시지가 출력되어 HPC 환경에서도 견고한 배포를 보장한다.

실험 결과

연구 질문

• RQ1 실행 및 재시작 시 비트 수준 동일 재현 가능성을 유지하는 고성능, 완전히 결정적이고 재시작 가능한 MCMC 라이브러리가 파이썬에서 구현될 수 있는가?
• RQ2 파이썬, MATLAB, C++/포트란을 포함한 여러 프로그래밍 언어 간 MCMC 시뮬레이션을 위한 통일된 API는 어떻게 설계할 수 있으며, 일관된 사용과 문법을 보장할 수 있는가?
• RQ3 대규모 MCMC 시뮬레이션의 최적 프로세서 수는 무엇이며, 성능 메트릭스에서 이를 자동으로 예측할 수 있는가?
• RQ4 포크-조인 병행 처리에서 개별 프로세서의 단일 마르코프 체인 기여는 어떻게 모델링하고 시각화할 수 있으며, 이를 통해 성능 튜닝을 유도할 수 있는가?
• RQ5 후처리 및 시각화 기능은 핵심 시뮬레이션에서 분리하여 자동화함으로써 HPC 시스템에서의 이식성과 사용성을 향상시킬 수 있는가?

주요 결과

• ParaMonte::Python 라이브러리는 중단된 시뮬레이션을 완전히 결정적이고 비트 수준 동일하게 재시작할 수 있으며, 결과가 원본 체인과 최대 16자리 소수까지 일치한다.
• 포크-조인 병렬 MCMC 시뮬레이션에서 프로세서 기여는 기하분포를 따르며, 이는 자동으로 계산되어 시뮬레이션 출력에 포함된다.
• 단기 실행의 성능 데이터를 활용해 주어진 시뮬레이션에 대한 최적의 프로세서 수를 근사적으로 예측할 수 있어 슈퍼컴퓨터에서의 효율적 확장이 가능하다.
• 라이브러리는 numpy 이외의 외부 종속성이 없어 고성능을 달성하며, 설치 및 배포가 용이하며, 일부 시각화 라이브러리가 사용 불가능한 HPC 시스템에서도 문제없이 작동한다.
• 파이썬, MATLAB, C++/포트란 간 통일된 API는 일관된 사용을 보장하며, 다국적 언어를 동시에 사용하는 사용자에게 학습 곡선을 낮춘다.
• 필수 종속성이 설치되어 있을 경우 라이브러리의 후처리 및 시각화 도구가 자동으로 활성화되며, 종속성이 누락된 경우 임포트 시 명확한 경고 메시지가 출력된다.