[논문 리뷰] Non-Reversible Parallel Tempering: an Embarassingly Parallel MCMC Scheme

Saifuddin Syed, Alexandre Bouchard‐Côté외 2명|arXiv (Cornell University)|2019. 05. 08.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 조건부 역행성 없는 평행 온도화 MCMC 방법을 소개하며, 조각별 결정론적 동역학을 활용하여 전통적인 역행성 있는 방법보다 더 빠른 혼합 속도와 향상된 표본 추출 효율성을 달성한다. 고차원 사후 분포에서 이론적 척도 극한을 통해 최적의 냉각 스케줄을 유도하고, 이를 실용적 구현을 위해 반복적 근사 방법을 제안한다.

ABSTRACT

Parallel tempering (PT) methods are a popular class of Markov chain Monte Carlo schemes used to sample complex high-dimensional probability distributions. They rely on a collection of $N$ interacting auxiliary chains targeting tempered versions of the target distribution to improve the exploration of the state-space. We provide here a new perspective on these highly parallel algorithms and their tuning by identifying and formalizing a sharp divide in the behaviour and performance of reversible versus non-reversible PT schemes. We show theoretically and empirically that a class of non-reversible PT methods dominates its reversible counterparts and identify distinct scaling limits for the non-reversible and reversible schemes, the former being a piecewise-deterministic Markov process and the latter a diffusion. These results are exploited to identify the optimal annealing schedule for non-reversible PT and to develop an iterative scheme approximating this schedule. We provide a wide range of numerical examples supporting our theoretical and methodological contributions. The proposed methodology is applicable to sample from a distribution $\pi$ with a density $L$ with respect to a reference distribution $\pi_0$ and compute the normalizing constant. A typical use case is when $\pi_0$ is a prior distribution, $L$ a likelihood function and $\pi$ the corresponding posterior.

연구 동기 및 목표

• 고차원적이고 복잡한 사후 분포에서 역행성 평행 온도화의 비효율성을 해결하기 위해.
• 역행성과 비역행성 PT 기법 간의 성능 격차를 규명하고 체계화하기 위해.
• 척도 극한을 활용하여 비역행성 PT에 대한 이론적으로 최적의 냉각 스케줄을 도출하기 위해.
• 실제 구현을 위해 이론적 최적 냉각 스케줄을 근사하는 반복 알고리즘을 개발하기 위해.
• 복잡한 가능도를 가진 베이지안 추론에서 정규화 상수를 정확하게 계산할 수 있도록 하기 위해.

제안 방법

• 역행성 없는 메트로폴리스-해스팅스 업데이트를 비역행성 동역학으로 대체하여 조각별 결정론적 마르코프 과정을 유도하는 비역행성 PT 기법을 제안한다.
• 다른 척도 극한을 식별한다: 비역행성 PT는 조각별 결정론적 과정으로 수렴하고, 역행성 PT는 확산 과정으로 수렴한다.
• 비역행성 기법의 척도 극한을 분석하여 최적의 냉각 스케줄을 도출한다.
• 실제 적용을 위해 이론적 최적 냉각 스케줄을 근사하는 반복 알고리즘을 제안한다.
• 복잡하고 고차원적인 가능도를 가진 사후 분포에서 표본을 추출하기 위해 이 방법을 적용한다.
• 모서리 가능성도 계산을 통해 사후 분포의 정규화 상수를 추정하기 위해 이 기법을 활용한다.

실험 결과

연구 질문

• RQ1 비역행성 PT는 혼합 속도와 탐색 효율성 측면에서 역행성 PT에 비해 어떻게 다른가?
• RQ2 비역행성 PT와 역행성 PT 기법의 체계적 극한은 각각 무엇인가?
• RQ3 비역행성 PT의 척도 극한을 바탕으로 최적의 냉각 스케줄을 도출할 수 있는가?
• RQ4 이론적 최적 스케줄의 반복적 근사는 실질적으로 얼마나 잘 작동하는가?
• RQ5 고차원 설정에서 비역행성 PT는 사후 분포 표본 추출과 정규화 상수 추정에 얼마나 향상시키는가?

주요 결과

• 비역행성 PT는 이론적·실험적으로 모두 혼합 속도와 탐색 효율성 측면에서 역행성 PT를 크게 능가한다.
• 비역행성 PT의 척도 극한은 조각별 결정론적 마르코프 과정이며, 역행성 PT의 척도 극한은 확산 과정이다.
• 비역행성 PT의 최적 냉각 스케줄은 그 조각별 결정론적 척도 극한에서 도출된다.
• 이론적 최적 스케줄의 반복적 근사는 다양한 수치 예제에서 뛰어난 성능을 보인다.
• 이 방법은 복잡한 가능도를 가진 베이지안 추론에서 정규화 상수를 정확하고 효율적으로 계산할 수 있도록 한다.
• 제안된 기법은 기준 측도 π₀에 대해 밀도 L을 가지는 일반적인 사후 분포에 적용 가능하다.