[논문 리뷰] Unbiased Markov chain Monte Carlo with couplings

Pierre Jacob, John R. O’Leary외 1명|arXiv (Cornell University)|2017. 08. 11.

Markov Chains and Monte Carlo Methods참고 문헌 98인용 수 38

한 줄 요약

이 논문은 Glynn와 Rhee(2014)의 타원합 기법을 활용하여 두 개의 MCMC 체인을 결합함으로써 편향이 없는 마르코프 체인 몬테카를로(MCMC) 추정기를 생성하는 방법을 제안한다. 이로 인해 고정된 반복 수 이후에도 편향이 없으며, 병렬 계산이 효율적으로 가능하고, 프로세서 수에 기반한 유효한 신뢰구간을 제공할 수 있으며, 다중모달 타겟과 모듈러 베이지안 추론을 포함한 복잡한 모델에 적용 가능하다.

ABSTRACT

Markov chain Monte Carlo (MCMC) methods provide consistent of integrals as the number of iterations goes to infinity. MCMC estimators are generally biased after any fixed number of iterations. We propose to remove this bias by using couplings of Markov chains together with a telescopic sum argument of Glynn and Rhee (2014). The resulting unbiased estimators can be computed independently in parallel. We discuss practical couplings for popular MCMC algorithms. We establish the theoretical validity of the proposed estimators and study their efficiency relative to the underlying MCMC algorithms. Finally, we illustrate the performance and limitations of the method on toy examples, on an Ising model around its critical temperature, on a high-dimensional variable selection problem, and on an approximation of the cut distribution arising in Bayesian inference for models made of multiple modules.

연구 동기 및 목표

• 표준 MCMC 추정기에서 발생하는 근본적인 편향이 수많은 반복 후에도 여전히 존재하는 문제를 해결하기 위해.
• 결합 및 Rhee-Glynn 추정기 기반으로 편향을 제거함으로써, 체인 간 통신 없이도 MCMC 체인의 병렬 실행을 가능하게 하기 위해.
• 메트로폴리스-해스팅스 및 지브스 샘플러와 같은 인기 있는 MCMC 알고리즘에 적용 가능한 일반적인 프레임워크를 제공하기 위해.
• 비편향 추정기를 활용한 모듈러 추론 및 개선된 수렴 진단을 지원하기 위해.
• 고차원 및 다중모달 타겟에서의 실용적 효율성과 확장성을 입증하기 위해.

제안 방법

• 두 개의 결합된 마르코프 체인을 사용하며, 이들은 결합 메커니즘에 따라 함께 진화하여 유한 시간 내에 만남을 이룹니다.
• Rhee-Glynn 추정기는 결합된 체인의 만남 시간 이후의 차이값을 타원합 형태로 조합하여 비편향 추정기를 구성합니다.
• 추정기는 $ \mathbb{E}[\sum_{t=k+1}^{\tau-1} (h(X_t) - h(Y_{t-1}))] $ 로 정의되며, 여기서 $ \tau $ 는 체인의 만남 시간입니다.
• 효율적인 만남 시간 확보를 위해 최대 결합, 반사 결합, 공통 난수를 사용하여 결합을 구현합니다.
• 체인은 독립적으로 병렬 실행 가능하며, 추정기의 신뢰구간은 프로세서 수에 대해 渐近적으로 타당합니다.
• 추정기 효율성을 제어하기 위해 테이닝 파라미터 $ k $ 와 $ m $ 을 사용하며, $ k $ 는 만남 시간의 큰 분위수로 선택되고 $ m $ 은 $ k $ 의 배수로 설정됩니다.

실험 결과

연구 질문

• RQ1 타겟 분포의 해석적 형태를 알지 못해도 일반적인 MCMC 알고리즘에 대해 비편향 MCMC 추정기를 구성할 수 있는가?
• RQ2 제안된 비편향 추정기의 효율성과 분산은 표준 MCMC와 비교해 어떻게 되는가?
• RQ3 이 방법은 체인 간 통신 없이도 MCMC의 병렬 계산을 효과적으로 지원할 수 있는가?
• RQ4 이 방법은 특히 컷 분포 계산에서 모듈러 베이지안 추론에 어떤 영향을 미치는가?
• RQ5 테이닝 파라미터 $ k $ 와 $ m $ 이 최종 추정기의 편향과 분산에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 고정된 반복 수 이후에도 항상 비편향 추정기를 생성하며, 이는 편향 없이 병렬 실행을 가능하게 한다.
• 표준 MCMC가 반복 횟수에 대한 渐近적 성질에 의존하는 것과 달리, 이 방법은 프로세서 수에 기반한 유효한 신뢰구간을 제공한다.
• 고차원 변수 선택 및 이징 모델에서, 체인이 잘 혼합하는 경우 특히 실용적 확장성과 효율성을 입증하였다.
• 모듈러 추론에서의 컷 분포에 대해, 서로 다른 조건부 분포를 타깃으로 삼는 체인을 조합하여 주변 사후분포를 성공적으로 추정하였다.
• 추정기의 효율성은 만남 시간 $ \tau $ 에 매우 민감하며, 천천히 혼합되는 체인은 높은 분산과 열악한 성능을 초래한다.
• 이론적 분석을 통해 체인의 주변분포와 타겟 분포 사이의 총 변화 거리가 $ \mathbb{E}[\max(0, \tau - k - 1)] $ 를 통해 유계로 제한될 수 있음을 확인하였으며, 이는 수렴 진단에 활용 가능하다.