[논문 리뷰] How to view an MCMC simulation as a permutation, with applications to parallel simulation and improved importance sampling

Radford M. Neal|arXiv (Cornell University)|2012. 05. 01.

Markov Chains and Monte Carlo Methods참고 문헌 19인용 수 9

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC) 시뮬레이션을 확장된 상태공간 위에서 무작위 순열 또는 체적을 유지하는 사상으로 재해석하는 새로운 프레임워크를 제안한다. 이를 통해 효율적인 병렬 시뮬레이션과 향상된 중요도 샘플링이 가능해진다. 원래 체인을 균일하거나 불변 측도를 갖는 더 큰 공간에 통합함으로써, 확률 밀도를 유지하는 결정론적이고 가역적인 전이를 보장하며, 공유되는 난수 스트림과 비무작위 또는 준무작위 수열을 사용해도 안정적인 추정이 가능해진다.

ABSTRACT

Consider a Markov chain defined on a finite state space, X, that leaves invariant the uniform distribution on X, and whose transition probabilities are integer multiples of 1/Q, for some integer Q. I show how a simulation of n transitions of this chain starting at x_0 can be viewed as applying a random permutation on the space XxU, where U={0,1,...,Q-1}, to the start state (x_0,u_0), with u_0 drawn uniformly from U. This result can be applied to a non-uniform distribution with probabilities that are integer multiples of 1/P, for some integer P, by representing it as the marginal distribution for X from the uniform distribution on a suitably-defined subset of XxY, where Y={0,1,...,P-1}. By letting Q, P, and the cardinality of X go to infinity, this result can be generalized to non-rational probabilities and to continuous state spaces, with permutations on a finite space replaced by volume-preserving one-to-one maps from a continuous space to itself. These constructions can be efficiently implemented for chains commonly used in Markov chain Monte Carlo (MCMC) simulations. I present two applications in this context - simulation of K realizations of a chain from K initial states, but with transitions defined by a single stream of random numbers, as may be efficient with a vector processor or multiple processors, and use of MCMC to improve an importance sampling distribution that already has substantial overlap with the distribution of interest. I also discuss the implications of this "permutation MCMC" method regarding the role of randomness in MCMC simulation, and the potential use of non-random and quasi-random numbers.

연구 동기 및 목표

• 확장된 상태공간에서 MCMC 전이를 순열 또는 체적을 유지하는 사상으로 재해석함으로써 새로운 계산적 효율성을 확보하는 방법을 개발한다.
• 동일한 난수 스트림을 사용해 서로 다른 초기 상태에서 시작하는 다수의 체인을 병렬로 시뮬레이션할 수 있도록 하여 공통화를 방지하고 통신 비용을 감소시킨다.
• 제안 분포에서 추출한 표본에 MCMC 전이를 적용함으로써 중요도 샘플링을 향상시키며, 복잡한 밀도의 역행렬이 필요 없이 난수 스트림을 통해 정확한 가중치를 유지한다.
• MCMC에서 무작위성의 역할을 탐색하고, 비무작위 또는 준무작위 수열이 MCMC 시뮬레이션에 사용 가능한지의 가능성을 평가한다.
• 한계 구축을 통해 연속 상태공간과 비균일, 비유리 확률에 일반화할 수 있도록 한다.

제안 방법

• 보조 변수(예: 균일 분포 난수)를 도입하여 상태공간을 확장함으로써 원래 MCMC 전이를 결정론적, 가역적, 체적을 유지하는 사상으로 변환한다.
• 유리 확률 전이 확률을 갖는 이산 MCMC 체인을 유한한 곱공간 X × U 위의 순열로 표현하며, 여기서 U는 균일 보조 공간이다.
• 연속 또는 비균일 분포의 경우, 연속적 확장을 사용하여 확장된 공간에서 르베그 측도를 유지하는 사상을 정의한다.
• 난수 시퀀스를 사용해 전이를 정의함으로써 순열 또는 사상을 구성하며, 최종 상태의 분포가 목표 분포와 일치하도록 보장한다.
• 역방향 시뮬레이션(시간을 거꾸로)을 통해 최종 상태에서 초깃값으로의 경로를 추적함으로써 중요도 샘플링 가중치를 계산한다.
• 공유된 난수 스트림을 사용해 정방향 및 역방향 MCMC 업데이트를 지원하는 벡터화된 R 코드로 방법을 구현한다.

실험 결과

연구 질문

• RQ1 계약적 행동을 피하기 위해 MCMC 시뮬레이션을 확장된 상태공간 위에서 순열 또는 체적을 유지하는 사상으로 재구성할 수 있는가?
• RQ2 단일 난수 스트림을 사용해 공통화를 유도하지 않고 병렬로 다수의 MCMC 체인을 시뮬레이션할 수 있는가?
• RQ3 MCMC 전이를 제안 분포의 표본에 적용함으로써 중요도 샘플링 제안을 향상시킬 수 있는가? 특히 목표 분포와의 겹침을 교정함으로써?
• RQ4 이 순열 기반 MCMC 프레임워크는 MCMC에서 비무작위 또는 준무작위 수열 사용에 대해 어떤 함의를 갖는가?
• RQ5 동일한 최종 상태로 이르는 다수의 초깃값이 존재할 경우 중요도 샘플링 가중치를 신뢰성 있게 계산할 수 있는가?

주요 결과

• 이 방법은 계약적인 MCMC 전이를 확장된 공간에서 비계약적이고 가역적인 사상으로 성공적으로 변환하며, 확률 측도를 유지한다.
• 동일한 난수 스트림을 사용해 다수의 체인을 병렬로 시뮬레이션하는 것은 가능하며, 전이가 순열로 정의될 경우 공통화를 방지할 수 있다.
• 제안 표본에 임의의 수의 MCMC 단계를 적용함으로써 중요도 샘플링을 크게 향상시킬 수 있으며, 체적을 유지하는 성질 덕분에 정확한 가중치가 유지된다.
• 기본 사상이 가역적이고 측도를 유지한다면, 비무작위 또는 준무작위 수열을 MCMC에 사용해도 유효성에 손상이 없다.
• 시험 사례에서 개선된 중요도 샘플링 방법은 명목상 N에 가까운 조정된 표본 크기를 갖는 안정된 추정치를 생성하여 효과적인 가중치 校정을 보여주었다.
• R 구현은 역방향 시뮬레이션과 가중치 계산이 중간 차원 문제에 대해 계산적으로 실현 가능하고 정확함을 보여주었다.