[논문 리뷰] ParaDRAM: A Cross-Language Toolbox for Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulations

Amir Shahmoradi, Fatemeh Bagheri|arXiv (Cornell University)|2020. 08. 21.

Markov Chains and Monte Carlo Methods참고 문헌 49인용 수 8

한 줄 요약

ParaDRAM은 C/C++, 포트란, MATLAB, 파이썬 등 다양한 프로그래밍 언어에서 구현된 고성능, 다중 언어 대응 도구상자로, 병렬 처리, 지연 거부 적응 메트로폴리스 마르코프 체인 몬테카를로(MCMC) 시뮬레이션을 지원합니다. 효율적인 압축 저장 방식을 통해 메모리 및 I/O 오버헤드를 최소화하고, 사용자 간섭 없이 자동으로 결정적이고 확장 가능한 샘플링을 보장함으로써 개인용 노트북부터 슈퍼컴퓨터에 이르기까지 재현 가능한 불확실성 정량화 및 추론을 가능하게 합니다.

ABSTRACT

We present ParaDRAM, a high-performance Parallel Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo software for optimization, sampling, and integration of mathematical objective functions encountered in scientific inference. ParaDRAM is currently accessible from several popular programming languages including C/C++, Fortran, MATLAB, Python and is part of the ParaMonte open-source project with the following principal design goals: 1. full automation of Monte Carlo simulations, 2. interoperability of the core library with as many programming languages as possible, thus, providing a unified Application Programming Interface and Monte Carlo simulation environment across all programming languages, 3. high-performance 4. parallelizability and scalability of simulations from personal laptops to supercomputers, 5. virtually zero-dependence on external libraries, 6. fully-deterministic reproducibility of simulations, 7. automatic comprehensive reporting and post-processing of the simulation results. We present and discuss several novel techniques implemented in ParaDRAM to automatically and dynamically ensure the good-mixing and the diminishing-adaptation of the resulting pseudo-Markov chains from ParaDRAM. We also discuss the implementation of an efficient data storage method used in ParaDRAM that reduces the average memory and storage requirements of the algorithm by, a factor of 4 for simple simulation problems, to an order of magnitude and more for sampling complex high-dimensional mathematical objective functions. Finally, we discuss how the design goals of ParaDRAM can help users readily and efficiently solve a variety of machine learning and scientific inference problems on a wide range of computing platforms.

연구 동기 및 목표

• 다양한 프로그래밍 언어 간에 복잡한 몬테카를로 시뮬레이션을 자동화하는 통합된 고성능 MCMC 프레임워크를 개발하기.
• 사용자 간섭 없이 스트로스틱 MCMC 체인의 완전한 재현 가능성과 결정적 재시작을 보장하기.
• MCMC 체인에 대한 효율적인 압축 저장 방식을 통해 메모리 및 I/O 오버헤드를 최소화하기.
• 사용자가 병렬 코드를 작성할 필요 없이 MPI 및 PGAS 프로그래밍 모델을 활용해 노트북부터 슈퍼컴퓨터에 이르기까지 원활한 병렬 처리를 가능하게 하기.
• DRAM에서 감소 적응 조건을 동적으로 강제 적용하여 마르코프 체인의 수렴성과 양호한 혼합성을 보장하기.

제안 방법

• 감소 적응 조건을 만족시키기 위해 적응 과정을 자동으로 동적으로 모니터링하는 지연 거부 적응 메트로폴리스(DRAM) 알고리즘을 구현합니다.
• MCMC 체인을 여러 프로세서에 분산하기 위해 포크-조인 및 완벽한 병렬 처리 모델을 사용하여 로드 밸런싱과 고성능 확장성을 달성합니다.
• 고차원 문제에서 특히 유리한, 메모리 및 저장 공간 사용을 최대 10배까지 줄이는 새로운 압축 데이터 저장 형식을 도입합니다.
• C/C++, 포트란, MATLAB, 파이썬 및 기타 언어 간에 통일된 응용 프로그래밍 인터페이스(API)를 제공하여 문법과 사용법의 일관성을 확보합니다.
• 분산 메모리 HPC 시스템을 지원하기 위해 MPI 및 PGAS(Coarray) 병렬 처리 모델을 통합하면서도 사용자에게 저수준 병렬 프로그래밍을 숨깁니다.
• 결과의 후처리 및 보고 기능을 포함한, 자동으로 결정적이며 완전히 재시작 가능한 시뮬레이션을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 다양한 과학 계산 플랫폼에서 결정적이고 재현 가능하며 확장 가능한 시뮬레이션을 보장할 수 있는 고성능, 다중 언어 대응 MCMC 도구상자를 어떻게 설계할 수 있는가?
• RQ2 적응 MCMC 알고리즘에서 감소 적응 조건을 동적으로 강제 적용할 수 있는 기법은 무엇이며, 이를 통해 수렴성과 양호한 혼합성을 보장할 수 있는가?
• RQ3 기능성이나 재현 가능성에 손상이 가지 않도록 MCMC 시뮬레이션의 메모리 및 I/O 오버헤드를 어떻게 최소화할 수 있는가?
• RQ4 MPI 및 PGAS 병렬 처리 모델을 얼마나 효과적으로 활용하여 MCMC 샘플링의 고성능 확장성을 달성할 수 있으며, 同시에 사용자 친화성도 유지할 수 있는가?
• RQ5 다양한 프로그래밍 언어 간에 고수준의 통일된 API를 어떻게 도입하여 고급 MCMC 샘플링에 접근하기 쉽게 만들 수 있으며, 병렬 프로그래밍 전문 지식 없이도 사용할 수 있도록 할 수 있는가?

주요 결과

• ParaDRAM의 압축 저장 방식 덕분에 단순 문제의 경우 메모리 및 저장 요구량을 4배 줄이고, 고차원 문제에서는 최대 10배까지 감소시킵니다.
• ParaDRAM 내의 DRAM 알고리즘은 동적 자동 모니터링과 조정을 통해 양호한 혼합성과 감소 적응 조건을 성공적으로 유지합니다.
• MPI 기반 병렬 처리는 PGAS(Coarray) 구현보다 성능이 뛰어나며, 주로 MPI 라이브러리의 숙련도와 최적화 수준이 높고, 현재 Coarray 컴파일러에서 고급 RMA 기능을 적극적으로 사용하지 못하기 때문입니다.
• C/C++, 포트란, MATLAB, 파이썬 등 다양한 언어 간 통일된 API는 일관된 시뮬레이션 설정 및 실행을 가능하게 하여, 다양한 과학 분야의 사용자들이 접근하기 위한 장벽을 크게 낮춥니다.
• ParaDRAM은 결정적이고 완전히 자동화된 시뮬레이션 재시작을 지원하여, 장시간 실행되는 대규모 과학적 추론에서 장애 발생 후에도 재현 가능성을 보장합니다.
• 라이브러리는 매우 확장 가능하여 개인용 노트북부터 세계 최고 수준의 슈퍼컴퓨터까지 다양한 환경에서 사용 가능하며, 사용자 수준의 병렬 코드 작성 없이도 가능합니다.