[논문 리뷰] Coupled MCMC with a randomized acceptance probability

Geoff K. Nicholls, Colin Fox외 1명|arXiv (Cornell University)|2012. 05. 30.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 33

한 줄 요약

이 논문은 몽테 카를로를 통해 로그-타겟 비율을 추정하는 랜덤화된 수락 확률을 갖는 메트로폴리스-해스팅스 MCMC 알고리즘의 클래스를 제안한다. 미묘한 조건 하에서 근사 체인은 정확한 체인과 결합할 수 있으며, 보정 항이 비가능하더라도 점점 더 작아지는 근사 편향을 보장한다. 이 편향은 $O(1/m)$ 속도로 감소하며, 몽테 카를로 오차 $O(1/ackslash sqrt"){n}$ 보다 더 빠르게 감소한다.

ABSTRACT

We consider Metropolis Hastings MCMC in cases where the log of the ratio of target distributions is replaced by an estimator. The estimator is based on m samples from an independent online Monte Carlo simulation. Under some conditions on the distribution of the estimator the process resembles Metropolis Hastings MCMC with a randomized transition kernel. When this is the case there is a correction to the estimated acceptance probability which ensures that the target distribution remains the equilibrium distribution. The simplest versions of the Penalty Method of Ceperley and Dewing (1999), the Universal Algorithm of Ball et al. (2003) and the Single Variable Exchange algorithm of Murray et al. (2006) are special cases. In many applications of interest the correction terms cannot be computed. We consider approximate versions of the algorithms. We show that on average O(m) of the samples realized by a simulation approximating a randomized chain of length n are exactly the same as those of a coupled (exact) randomized chain. Approximation biases Monte Carlo estimates with terms O(1/m) or smaller. This should be compared to the Monte Carlo error which is O(1/sqrt(n)).

연구 동기 및 목표

• 로그-타겟 비율의 노이즈 있는 추정치에 기반한 랜덤화된 수락 확률을 사용하는 마르코프 체인 몽테 카를로(MCMC) 알고리즘의 일반적 프레임워크를 개발하는 것.
• 추정된 비율을 사용함에도 불구하고 올바른 타겟 분포를 유지하는 조건을 설정하는 것.
• 이러한 알고리즘의 근사 버전이 고정된 시뮬레이션 길이 동안 높은 확률로 정확한 결합 체인과 동일한 샘플을 생성할 수 있음을 보여주는 것.
• 보정 항이 비가능한 경우 근사 편향이 $O(1/m)$임을 입증하고, 이는 $O(1/\sqrt{n})$ 몽테 카를로 오차보다 더 빠르게 감소하므로 고정 정밀도에서 무시할 수 있음을 보여주는 것.

제안 방법

• 로깅된 타겟 비율의 추정치에 기반한 랜덤 변수 $X$의 밀도 $\xi(x;\theta,\theta')$를 사용하는 랜덤화된 메트로폴리스-해스팅스 알고리즘을 제안하며, 이는 랜덤 전이 커널을 도입한다.
• 일반화된 수락 확률 $\alpha_\xi(\theta,\theta';x) = \min\left\{1, h_\xi(\theta,\theta';x)\right\}$을 정의하며, 여기서 $h_\xi$는 타겟 밀도 비율과 변환 보정을 포함한다.
• 동일한 초기 상태에서 다른 타겟을 위한 체인을 시작하는 결합-분리 알고리즘을 도입하여 정확한 체인과의 비교를 가능하게 한다.
• 보조 변수 공간에서의 치환 $f$를 사용하여 세부 균형을 보장하고, 랜덤화된 커널 하에서 타겟 분포를 유지한다.
• 페스크운 유형의 순서를 유도하여, 랜덤화된 체인이 표준 체인에 의해 스토케스틱적으로 지배됨을 보여주며, 이는 미묘한 조건 하에서 더 나은 혼합 성질을 보장한다.
• 추정기 $\hat{D}(W)$가 약간의 로그-정규 분포를 따를 경우 보정 항을 계산할 수 있으며, 알고리즘이 여전히 정확함을 입증한다.

실험 결과

연구 질문

• RQ1 로깅된 타겟 비율의 노이즈 있는 추정치를 사용하는 MCMC 알고리즘이 추정기의 분포에 대해 미묘한 가정을 만족할 경우, 여전히 올바른 평형 분포를 확보할 수 있는가?
• RQ2 랜덤화된 수락 확률이 메트로폴리스-해스팅스 MCMC에서 타겟 분포를 유지하는 조건은 무엇인가?
• RQ3 근사 MCMC 체인이 유한 시간 내에 정확한 체인과 결합되어, 높은 확률로 동일한 샘플 경로를 생성할 수 있는가?
• RQ4 보정 항이 비가능한 경우 랜덤화된 MCMC의 근사 편향은 어떤 속도로 감소하는가? 이는 몽테 카를로 오차와 어떻게 비교되는가?
• RQ5 기존의 알고리즘들인 페널티 방법, 유니버설 알고리즘, 단일 변수 교환 알고리즘을 하나의 랜덤화된 MCMC 프레임워크로 통합할 수 있는가?

주요 결과

• 제안된 랜덤화된 MCMC 알고리즘은 로그-타겟 비율 추정기 $\hat{D}(W)$가 로그-정규 분포를 따를 경우, 올바른 타겟 분포를 평형 상태로 유지한다.
• 근사 버전의 알고리즘은 평균적으로 시뮬레이션 길이 $n$ 동안 정확한 결합 체인과 $O(m)$개의 동일한 샘플을 생성할 수 있으며, 이는 실무에서 높은 정밀도를 의미한다.
• 근사 편향은 $O(1/m)$로 유계이며, 이는 $O(1/\sqrt{n})$ 몽테 카를로 오차보다 더 빠르게 감소하므로 고정 정밀도에서 무시할 수 있다.
• 이 방법은 세 가지 기존 알고리즘—세페리와 데윙의 페널티 방법, 볼 등이의 유니버설 알고리즘, 머레이 등이의 단일 변수 교환 알고리즘—을 특수한 경우로 포함한다.
• 페스크운 순서는 랜덤화된 체인이 표준 체인에 의해 스토케스틱적으로 지배됨을 보여주며, 이는 더 나은 혼합 성질과 더 빠른 수렴을 의미한다.
• 보조 변수 밀도 $\xi$가 $\theta$와 $\theta'$에 독립일 경우, 균형 조건은 일관된 하한 $\epsilon > 0$을 갖는다. 이는 기하학적 에르고딕성을 보장한다.