[논문 리뷰] Partial Ordering of Inhomogeneous Markov Chains with Applications to Markov Chain Monte Carlo Methods

Florian Maire, Randal Douc외 1명|arXiv (Cornell University)|2013. 07. 14.

Markov Chains and Monte Carlo Methods참고 문헌 4인용 수 1

한 줄 요약

이 논문은 두 개의 $\pi$-재귀적 핵심 $P$와 $Q$에 의해 구동되는 비균질 마르코프 체인에 대한 부분 순서를 도입하여, 이들의 점근적 분산을 지연 일차 자기공분산 순서를 통해 직접 비교할 수 있도록 한다. 주요 기여는 랜덤 리프레시먼트 알고리즘—새로운 정확한 방법으로 제안된 것—이 몬테카를로 메트로폴리스 내부(Monte Carlo Within Metropolis)와 유사한 계산 효율성을 유지하면서도 그룹화된 독립 메트로폴리스-해스팅스 알고리즘보다 더 낮은 점근적 분산을 달성한다는 것을 증명하는 이론적 프레임워크를 제공한다는 것이다.

ABSTRACT

In this paper, we study the asymptotic variance of sample path averages for inhomogeneous Markov chains that evolve alternatingly according to two different $\pi$-reversible Markov transition kernels $P$ and $Q$. More specifically, our main result allows us to compare directly the asymptotic variances of two inhomogeneous Markov chains associated with different kernels $P_i$ and $Q_i$, $i\in\{0,1\}$, as soon as the kernels of each pair $(P_0,P_1)$ and $(Q_0,Q_1)$ can be ordered in the sense of lag-one autocovariance. As an important application, we use this result for comparing different data-augmentation-type Metropolis-Hastings algorithms. In particular, we compare some pseudo-marginal algorithms and propose a novel exact algorithm, referred to as the random refreshment algorithm, which is more efficient, in terms of asymptotic variance, than the Grouped Independence Metropolis-Hastings algorithm and has a computational complexity that does not exceed that of the Monte Carlo Within Metropolis algorithm.

연구 동기 및 목표

• 교차하는 전이 핵심을 갖는 비균질 마르코프 체인에서 점근적 분산을 비교하기 위한 이론적 프레임워크를 개발하는 것.
• 핵심 순서에 기반한 데이터 증강형 메트로폴리스-해스팅스 알고리즘 간의 직접 비교를 가능하게 하는 것.
• 기존 방법보다 더 낮은 점근적 분산을 달성하면서도 효율적인 정확한 샘플링 알고리즘을 설계하는 것.
• 제안된 알고리즘이 몬테카를로 메트로폴리스 내부 알고리즘과 동일한 계산 복잡도를 유지하도록 보장하는 것.

제안 방법

• 저자들은 점근적 분산을 비교하기 위해 지연 일차 자기공분산 구조에 기반한 전이 핵심에 대한 부분 순서를 정의한다.
• 한 비균질 체인이 다른 체인보다 점근적 분산 측면에서 지배하기 위한 이론적 조건을 확립한다.
• 이 방법은 두 개의 $\pi$-재귀적 핵심 $P$와 $Q$를 번갈아가며 사용하는 체인에 적용된다.
• 이 프레임워크는 가짜 마진날 알고리즘을 비교하고 새로운 정확한 알고리즘인 랜덤 리프레시먼트 알고리즘을 유도하는 데 응용된다.
• 랜덤 리프레시먼트 알고리즘은 기본 핵심과 리프레시먼트 단계를 번갈아 사용하여 점근적 분산을 감소시킨다.
• 이론적 비교 결과, 새로운 알고리즘이 분산 측면에선 그룹화된 독립 메트로폴리스-해스팅스 알고리즘보다 뛰어나며, 몬테카를로 메트로폴리스 내부 알고리즘과 동일한 계산 비용을 유지한다.

실험 결과

연구 질문

• RQ1 교차하는 핵심을 갖는 비균질 마르코프 체인의 점근적 분산은 지연 일차 자기공분산에 기반한 부분 순서를 통해 비교할 수 있는가?
• RQ2 랜덤 리프레시먼트 알고리즘은 기존의 정확한 알고리즘과 비교해 점근적 분산과 계산 비용 측면에서 어떻게 다른가?
• RQ3 그룹화된 독립 메트로폴리스-해스팅스 알고리즘보다 더 낮은 점근적 분산을 달성하는 새로운 정확한 메트로폴리스-해스팅스 알고리즘을 설계할 수 있는가?
• RQ4 제안된 방법은 샘플링 효율성을 향상시키면서도 계산 효율성을 유지하는가?

주요 결과

• 랜덤 리프레시먼트 알고리즘은 그룹화된 독립 메트로폴리스-해스팅스 알고리즘보다 더 낮은 점근적 분산을 달성한다.
• 제안된 알고리즘은 몬테카를로 메트로폴리스 내부 알고리즘보다 계산 복잡도가 더 높지 않다.
• 지연 일차 자기공분산에 기반한 부분 순서는 다양한 비균질 마르코프 체인 간의 점근적 분산을 직접 비교할 수 있도록 한다.
• 이 프레임워크를 통해 핵심 순서를 통한 데이터 증강형 메트로폴리스-해스팅스 알고리즘 간의 이론적 비교가 가능해진다.