[논문 리뷰] Metropolis-Hastings with Averaged Acceptance Ratios

Christophe Andrieu, Sinan Yıldırım외 2명|arXiv (Cornell University)|2020. 12. 29.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 4

한 줄 요약

이 논문은 다수의 독립적 제안에서 평균화된 수용 비율을 사용하는 신규 MCMC 프레임워크인 메트로폴리스-해스팅스 평균 수용 비율(MHAAR)을 소개한다. 이 방법은 수렴 속도 향상과 에르고딕 평균의 분산 감소를 통해 평형 상태에의 수렴을 개선하며, 타깃 분포를 불변으로 유지하고, 효율적인 병렬 처리를 가능하게 하며, 상태공간 모델, 이중으로 비가능한 타깃, 변형 차원 샘플러 등 다양한 모델에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Markov chain Monte Carlo (MCMC) methods to sample from a probability distribution $π$ defined on a space $(Θ,\mathcal{T})$ consist of the simulation of realisations of Markov chains $\{θ_{n},n\geq1\}$ of invariant distribution $π$ and such that the distribution of $θ_{i}$ converges to $π$ as $i ightarrow\infty$. In practice one is typically interested in the computation of expectations of functions, say $f$, with respect to $π$ and it is also required that averages $M^{-1}\sum_{n=1}^{M}f(θ_{n})$ converge to the expectation of interest. The iterative nature of MCMC makes it difficult to develop generic methods to take advantage of parallel computing environments when interested in reducing time to convergence. While numerous approaches have been proposed to reduce the variance of ergodic averages, including averaging over independent realisations of $\{θ_{n},n\geq1\}$ simulated on several computers, techniques to reduce the "burn-in" of MCMC are scarce. In this paper we explore a simple and generic approach to improve convergence to equilibrium of existing algorithms which rely on the Metropolis-Hastings (MH) update, the main building block of MCMC. The main idea is to use averages of the acceptance ratio w.r.t. multiple realisations of random variables involved, while preserving $π$ as invariant distribution. The methodology requires limited change to existing code, is naturally suited to parallel computing and is shown on our examples to provide substantial performance improvements both in terms of convergence to equilibrium and variance of ergodic averages. In some scenarios gains are observed even on a serial machine.

연구 동기 및 목표

• 특히 비가능한 우도를 가진 복잡한 모델에서 MCMC의 번인 기간을 줄일 수 있는 일반적이고 효과적인 방법의 부족을 해결한다.
• 기존의 메트로폴리스-해스팅스 기반 알고리즘의 평형 상태 수렴 속도를 향상시키고, 에르고딕 평균의 분산을 줄이되, 타깃 불변 분포를 변경하지 않는다.
• 다양한 독립적 제안에서의 수용 비율 추정치 계산을 분리함으로써 MCMC의 효율적 병렬 처리를 가능하게 한다.
• 상태공간 모델, 변형 차원 모델, 이중으로 비가능한 분포를 포함한 다양한 모델에 적용 가능한 일반적 프레임워크를 제공한다.
• 정확한 우도 추정의 높은 비용을 피하는 계산적으로 효율적인 의사-우도 MCMC의 대안을 개발한다.

제안 방법

• 단일 수용 비율 대신 다수의 독립적 수용 비율 추정치의 평균을 사용하는 일반화된 메트로폴리스-해스팅스 알고리즘(MHAAR)을 제안한다.
• 동일한 제안 커널에서 유도된 다수의 i.i.d. 제안을 사용해 다수의 수용 비율을 계산하고, 이를 평균화하여 단일 수용 확률을 구성한다.
• 적절한 수용 비율 평균화 메커니즘의 설계를 통해 세부 균형 조건을 확보함으로써 타깃 분포 π를 불변 분포로 유지한다.
• 조건부 SMC(cSMC)를 사용해 수용 비율을 비편향으로 추정하는 상태공간 모델을 위한 MHAAR-RB(기각 기반) 및 MHAAR-S(하향 샘플링) 변종을 도입한다.
• cSMC에서 후행 샘플링을 활용해 다수의 잠재 경로 추정치를 생성하고, 이를 사용해 수용 비율의 비편향 추정치를 계산한다.
• 하향 샘플링을 적용해 수용 비율 추정치에서 M×T개의 가능한 경로 중 N개만 사용함으로써 반복당 계산 비용을 O(M²T)에서 O(NMT)로 감소시킨다.

실험 결과

연구 질문

• RQ1 다수의 독립적 수용 비율 추정치를 평균화하는 것이 타깃 분포를 변경하지 않고도 메트로폴리스-해스팅스 알고리즘의 평형 상태 수렴 속도를 향상시킬 수 있는가?
• RQ2 세부 균형 조건을 유지하면서도 수용 비율의 병렬 계산을 가능하게 하기 위해 메트로폴리스-해스팅스 알고리즘을 어떻게 수정할 수 있는가?
• RQ3 MHAAR는 상태공간 모델과 변형 차원 샘플러와 같은 복잡한 모델에서 번인 기간과 에르고딕 평균의 분산을 어느 정도 줄일 수 있는가?
• RQ4 MHAAR는 계산 비용을 줄이고 혼합 성질을 향상시켜 의사-우도 MCMC에 비해 효율적인 대안이 될 수 있는가?
• RQ5 대규모 상태공간 모델에서 잠재 경로 추정치의 하향 샘플링이 MHAAR의 성능과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• MHAAR는 은닉 마르코프 모델에서 표준 MwPG 대비 통합 자기상관시간(IAC)을 최대 70%까지 감소시켰으며, N=60일 때 IAC는 3.5337×10³에서 1.4047×10³로 감소하였다.
• MHAAR-RB-R 변종은 IAC가 0.4332×10³로 나타나 MwPG의 3.5337×10³보다 훨씬 낮아, 더 빠른 수렴과 분산 감소를 의미한다.
• 심지어 순차적 머신에서도 MHAAR는 표준 MCMC보다 성능 향상을 보였으며, 병렬 아키텍처를 초월한 효과를 입증한다.
• MHAAR-S 변종은 반복당 계산 비용을 O(M²T)에서 O(NMT)로 감소시켜 대규모 상태공간 모델의 다수의 잠재 공간에 대한 확장 가능한 응용을 가능하게 하였다.
• 그림 7에 나타낸 바로는 MHAAR-S의 앙상블 평균이 MwPG와 MHAAR-RB보다 후행 평균에 더 빨리 수렴함을 확인하였으며, 혼합 성질 향상과 번인 감소를 확인하였다.
• 비록 평균화된 비편향 수용 비율 추정치를 사용하더라도, 이 방법은 타깃 분포 π에 대해 정확한 불변성을 유지하여 유효성을 보장한다.