[논문 리뷰] MatDRAM: A pure-MATLAB Delayed-Rejection Adaptive Metropolis-Hastings Markov Chain Monte Carlo Sampler

Shashank Kumbhare, Amir Shahmoradi|arXiv (Cornell University)|2020. 10. 08.

Markov Chains and Monte Carlo Methods참고 문헌 31인용 수 4

한 줄 요약

MatDRAM은 고차원 문제에서 베이지안 추론, 샘플링 및 통합을 위한 순수 MATLAB으로 구현된 지연 거부 적응 메트로폴리스(Metropolis) 마르코프 체인 몬테카를로(MCMC) 알고리즘인 DRAM을 위한 것입니다. 이는 적응형 제안 분포와 수렴을 보장하기 위한 점진적 적응 감소 모니터링을 통해 거의 완전히 자동화되고 재현 가능하며 재시작 가능한 MCMC 시뮬레이션을 가능하게 합니다.

ABSTRACT

Markov Chain Monte Carlo (MCMC) algorithms are widely used for stochastic optimization, sampling, and integration of mathematical objective functions, in particular, in the context of Bayesian inverse problems and parameter estimation. For decades, the algorithm of choice in MCMC simulations has been the Metropolis-Hastings (MH) algorithm. An advancement over the traditional MH-MCMC sampler is the Delayed-Rejection Adaptive Metropolis (DRAM). In this paper, we present MatDRAM, a stochastic optimization, sampling, and Monte Carlo integration toolbox in MATLAB which implements a variant of the DRAM algorithm for exploring the mathematical objective functions of arbitrary-dimensions, in particular, the posterior distributions of Bayesian models in data science, Machine Learning, and scientific inference. The design goals of MatDRAM include nearly-full automation of MCMC simulations, user-friendliness, fully-deterministic reproducibility, and the restart functionality of simulations. We also discuss the implementation details of a technique to automatically monitor and ensure the diminishing adaptation of the proposal distribution of the DRAM algorithm and a method of efficiently storing the resulting simulated Markov chains. The MatDRAM library is open-source, MIT-licensed, and permanently located and maintained as part of the ParaMonte library at https://github.com/cdslaborg/paramonte.

연구 동기 및 목표

• 베이지안 추론 및 불확실성 정량화를 위한 MATLAB에서 사용자 친화적이고 재현 가능한, 완전 자동화된 MCMC 샘플링 도구상자를 개발하는 것.
• 수렴을 보장하기 위해 제안 분포의 점진적 적응을 보장하는 지연 거부 적응 메트로폴리스(DRAM) 알고리즘의 변종을 구현하는 것.
• 특히 고성능 계산 시스템에서 시간 제한이 있는 환경에서 장시간 실행되는 MCMC 시뮬레이션을 위해 결정론적 재시작 기능을 제공하는 것.
• 메타데이터와 함께 효율적으로 저장되고, 내장된 수렴 진단 및 시각화 도구를 통해 후처리가 가능한 마르코프 체인의 저장 및 후처리를 가능하게 하는 것.
• 다양한 프로그래밍 언어 간 상호운용성과 공통된 후처리 워크플로우를 위해 광범위한 ParaMonte 라이브러리와의 호환성을 확보하는 것.

제안 방법

• 시뮬레이션 중에 공분산이 적응적으로 업데이트되는 다변량 정규분포(MVN) 제안 분포를 사용하며, 이는 샘플링 효율성을 향상시킵니다.
• 다중 시도를 허용하는 지연 거부 기법을 구현하여 복잡한 사후 분포에서 수용률을 높입니다.
• 연속적인 제안 분포 간 헬링거 거리(Hellinger distance)를 모니터링하여, 에르고딕성과 수렴을 위한 핵심 조건인 점진적 적응을 보장합니다.
• 제안 분포 간 총 변동 거리(Total Variation Distance, TVD)에 대한 상한을 계산하고 보고하여 적응 진행 상황을 평가합니다.
• 마르코프 체인과 난수 생성기의 상태를 저장하여 결정론적 재시작을 지원함으로써, 실행 간 비트 수준 동일 결과를 보장합니다.
• 출력 체인은 메타데이터와 함께 효율적으로 저장되며, 시각화 및 수렴 분석을 위한 통합된 후처리 도구가 포함되어 있습니다.

실험 결과

연구 질문

• RQ1 장시간 지속되는 MCMC 시뮬레이션에서 재현 가능성과 재시작 기능을 보장하기 위해 순수 MATLAB로 구현된 DRAM 알고리즘의 설계 방법은 무엇인가요?
• RQ2 적응형 MCMC 샘플러에서 점진적 적응을 자동으로 모니터링하고 강제로 적용하기 위한 기법은 무엇인가요?
• RQ3 헬링거 거리 기반 적응 측정법은 수렴을 탐지하고 비에르고딕 행동을 방지하는 데 얼마나 효과적인가요?
• RQ4 최소한의 사용자 간섭으로 고차원 베이지안 추론을 지원할 수 있는 완전 자동화되고 사용자 친화적인 MATLAB 기반 MCMC 도구상자는 구축할 수 있는가요?
• RQ5 MatDRAM이 ParaMonte 라이브러리와 통합될 경우, 다양한 언어 간 상호운용성과 MCMC 결과의 통합 후처리를 어떻게 실현할 수 있나요?

주요 결과

• MatDRAM 라이브러리는 순수 MATLAB로 완전 자동화되고 결정론적이며 재시작 가능한 DRAM 샘플러를 성공적으로 구현하여, 중단되고 재개된 시뮬레이션 간에 비트 수준 동일 결과를 보장합니다.
• 헬링거 거리 기반 적응 측정법은 총 변동 거리(TVD)에 대한 신뢰할 수 있고 계산 비용이 낮은 상한을 제공하며, 시뮬레이션 중 점진적으로 감소함으로써 성공적인 점진적 적응을 나타냅니다.
• 헬링거 거리 기반 적응 모니터링 방법은 수렴하지 않은 체인이 적응이 감소하지 않을 경우 자동으로 탐지할 수 있습니다.
• 라이브러리는 고차원 샘플링(4차원 MVN 예제를 통해 증명됨)을 지원하며, 후처리를 위한 전체 메타데이터와 함께 마르코프 체인을 효율적으로 저장합니다.
• ParaMonte 라이브러리와의 통합을 통해 MatDRAM은 C++, 포트란, 파이썬 기반 샘플러와 상호운용 가능하며, MCMC 출력의 통합 분석을 가능하게 합니다.
• 이 도구는 오픈소스이며 MIT 라이선스에 따라 배포되며, https://github.com/cdslaborg/paramonte 에서 공개 제공되며, MATLAB FileExchange를 통해 접근 가능하고, 포괄적인 문서가 제공됩니다.