[논문 리뷰] Quasi Markov Chain Monte Carlo Methods

Tobias Schwedes, Ben Calderhead|arXiv (Cornell University)|2018. 06. 29.

Mathematical Approximation and Integration참고 문헌 59인용 수 3

한 줄 요약

이 논문은 베이지안 추론에서 더 빠른 수렴 속도를 달성하기 위해 완전히 균일 분포를 가진(CUD) 수를 활용하는 새로운 병렬 준마르코프 체인 몬테카를로(QMCMC) 프레임워크를 제안한다. 여러 제안, 비가역 전이, 적응형 커널, 중요도 샘플링을 결합함으로써, 평균 제곱오차 수렴 속도가 표준 MCMC의 $n^{-1}$ 비율보다 훨씬 빠른 $n^{-2}$ 수준에 가까워진다.

ABSTRACT

Quasi-Monte Carlo (QMC) methods for estimating integrals are attractive since the resulting estimators typically converge at a faster rate than pseudo-random Monte Carlo. However, they can be difficult to set up on arbitrary posterior densities within the Bayesian framework, in particular for inverse problems. We introduce a general parallel Markov chain Monte Carlo (MCMC) framework, for which we prove a law of large numbers and a central limit theorem. In that context, non-reversible transitions are investigated. We then extend this approach to the use of adaptive kernels and state conditions, under which ergodicity holds. As a further extension, an importance sampling estimator is derived, for which asymptotic unbiasedness is proven. We consider the use of completely uniformly distributed (CUD) numbers within the above mentioned algorithms, which leads to a general parallel quasi-MCMC (QMCMC) methodology. We prove consistency of the resulting estimators and demonstrate numerically that this approach scales close to $n^{-2}$ as we increase parallelisation, instead of the usual $n^{-1}$ that is typical of standard MCMC algorithms. In practical statistical models we observe multiple orders of magnitude improvement compared with pseudo-random methods.

연구 동기 및 목표

• 표준 의사난수 MCMC 방법의 느린 수렴 문제를 해결하는 확장 가능하고 병렬화 가능한 MCMC 프레임워크를 개발하는 것.
• 계층적 또는 저차원 모델을 초월하여 일반적인 사후 분포에 대해 준몬테카를로(QMC) 방법을 확장하는 것.
• CUD 수열을 사용한 적응형 및 비가역 MCMC에 대해 에르고딕성과 점근적 불편성과 같은 이론적 보장을 수립하는 것.
• 수치적으로 제안된 방법이 비트레이스티컬한 통계 모델에서 전통적인 QMC와 유사한 $n^{-2}$ 수렴 속도에 가까운 성능을 보임을 보여주는 것.

제안 방법

• 각 반복에서 다수의 후보 상태를 생성하고 평가함으로써 병렬화가 가능한 다중 제안 MCMC(MP-MCMC) 프레임워크를 제안한다.
• 샘플링 과정에서 혼합을 향상시키고 랜덤 워크 행동을 줄이기 위해 비가역 전이 커널을 도입한다.
• 과거 샘플에 기반해 제안 분포를 갱신하는 적응형 커널 메커니즘을 개발하여, 적절한 정규 조건 하에서 에르고딕성을 보장한다.
• 모든 제안된 점에 가중치를 할당하는 중요도 샘플링 추정기법을 유도하여 수용-기각 단계에서 발생하는 불연속성을 제거한다.
• 의사난수 대신 완전히 균일 분포를 가진(CUD) 수열을 사용하는 프레임워크를 일반화한다.
• 적절한 정규 조건(예: 커플링 영역 존재) 하에서, 결과 추정기의 일致성과 점근적 불편성을 증명한다.

실험 결과

연구 질문

• RQ1 베이지안 추론에서 일반적이고 계층적이지 않은 사후 분포에 대해 준몬테카를로(QMC) 방법을 효과적으로 적용할 수 있는가?
• RQ2 병렬 다중제안 MCMC 프레임워크에서 CUD 수열을 사용할 경우 표준 MCMC보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 MP-MCMC 내부의 중요도 샘플링이 수용 기준에서 발생하는 불연속성을 제거하고 QMC 성능을 향상시킬 수 있는가?
• RQ4 CUD 수열 기반 MP-MCMC에서 적응형 커널을 사용할 경우 어떤 조건에서 에르고딕성과 일치성을 보장할 수 있는가?
• RQ5 고차원이며 교환가능하지 않은 모델에서도 QMC 기법을 사용해 MCMC의 수렴 속도를 $n^{-2}$ 수준에 가깝게 달성할 수 있는가?

주요 결과

• 제안된 준MCMC 방법은 평균 제곱오차 수렴 속도가 표준 의사난수 MCMC의 $n^{-1}$ 비율보다 훨씬 빠른 $n^{-2}$ 수준에 가까워진다.
• 수치 실험 결과에서 조건부 분포가 명시적으로 존재하지 않는 비계층적 모델에서도 표준 MCMC에 비해 다수의 주기 수준 향상된 수렴 속도를 보였다.
• 중요도 샘플링 변형된 MP-MCMC는 모든 제안된 점을 사용한 일관된 추정을 가능하게 하며, 수용-기각 단계에서 유도된 불연속성을 제거한다.
• 이론적 결과로는 적응형 MP-MCMC 알고리즘의 에르고딕성과 중요도 샘플링 추정기의 점근적 불편성을 적절한 정규 조건 하에서 확립하였다.
• CUD 수열에 의해 구동될 경우 방법은 일관성이 있으며, 다수의 제안을 사용함으로써 저이분산 수열이 상태 공간을 더 효과적으로 커버할 수 있다.
• 경험적 결과는 커플링 영역 조건이 증명에 충분하긴 하나 필수 조건은 아닐 수 있음을 시사하며, 향후 수축 조건 기반의 일致성 증명 방향으로의 열린 길을 제시한다.