[논문 리뷰] Establishing some order amongst exact approximations of MCMCs

Christophe Andrieu, Matti Vihola|arXiv (Cornell University)|2014. 04. 28.

Markov Chains and Monte Carlo Methods참고 문헌 40인용 수 8

한 줄 요약

이 논문은 평균 수락 확률, 자기상관, 점근적 분산, 스펙트럼 갭 등의 성능 지표를 확률적으로 순서화하기 위한 충분조건으로 볼록 순서를 도입함으로써 정확한 근사 MCMC 알고리즘을 비교하기 위한 일반적 프레임워크를 수립한다. 주요 기여는 서로 다른 불변 분포를 가진 마르코프 체인 간 비교를 가능하게 하는 마르코프 쌍체 구축 방법으로, 이는 볼록 순서가 성능 지표 순서화에 거의 최적임을 증명한다 — 즉, 더 나쁜 분산 순서는 순서화를 보장하지 못한다.

ABSTRACT

Exact approximations of Markov chain Monte Carlo (MCMC) algorithms are a general emerging class of sampling algorithms. One of the main ideas behind exact approximations consists of replacing intractable quantities required to run standard MCMC algorithms, such as the target probability density in a Metropolis-Hastings algorithm, with estimators. Perhaps surprisingly, such approximations lead to powerful algorithms which are exact in the sense that they are guaranteed to have correct limiting distributions. In this paper we discover a general framework which allows one to compare, or order, performance measures of two implementations of such algorithms. In particular, we establish an order with respect to the mean acceptance probability, the first autocorrelation coefficient, the asymptotic variance and the right spectral gap. The key notion to guarantee the ordering is that of the convex order between estimators used to implement the algorithms. We believe that our convex order condition is close to optimal, and this is supported by a counter-example which shows that a weaker variance order is not sufficient. The convex order plays a central role by allowing us to construct a martingale coupling which enables the comparison of performance measures of Markov chain with differing invariant distributions, contrary to existing results. We detail applications of our result by identifying extremal distributions within given classes of approximations, by showing that averaging replicas improves performance in a monotonic fashion and that stratification is guaranteed to improve performance for the standard implementation of the Approximate Bayesian Computation (ABC) MCMC method.

연구 동기 및 목표

• 비가역 목표 밀도를 비편향 추정량으로 대체하는 정확한 근사 MCMC 알고리즘의 성능을 비교하기 위한 일반적 프레임워크를 개발하는 것.
• 일부 pseudo-marginal 알고리즘 구현이 다른 것보다 핵심 수렴 지표 측면에서 우월해지는 조건을 규명하는 것.
• 추정량 간 볼록 순서가 성능 측정치의 확률적 지배를 보장하기 위해 충분하고 거의 必要한 조건임을 확립하는 것.
• 서로 다른 불변 분포를 가진 마르코프 체인 간 비교를 가능하게 하여 이전 방법의 핵심 한계를 극복하는 것.
• 예를 들어 복수의 추정량 복제 평균화나 분류 기반 설계를 통해 MCMC 효율을 향상시키기 위한 실용적 도구를 제공하는 것.

제안 방법

• 목표 밀도의 추정량 간 볼록 순서를 활용하여 pseudo-marginal MCMC 알고리즘 간 비교를 위한 공식적 프레임워크를 도입한다.
• 서로 다른 불변 분포를 가진 마르코프 체인 간 비교를 가능하게 하는 마르코프 쌍체 구축 기법을 사용하여, 균형 측도가 다를지라도 성능 비교를 가능하게 한다.
• 역행성 및 스펙트럼 갭 이론을 적용하여 유도된 체인의 오른쪽 및 왼쪽 스펙트럼 갭에 대한 경계를 도출한다.
• 추정량 간 볼록 순서에 기반하여 점근적 분산, 첫 번째 자기상관 계수, 평균 수락 확률에 대한 부등식을 유도한다.
• 레마 45를 활용하여 상태 공간에 보조 변수(예: 추정량 값)를 추가했을 때의 영향을 분석함으로써, 역행성 유지 및 갭 비교 가능성을 확보한다.
• 이 프레임워크를 적용하여 ABC-MCMC에서 추정량 평균화 및 분류 기반 설계가 성능을 단조롭게 향상시킴을 보여준다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 한 정확한 근사 MCMC 알고리즘이 다른 알고리즘보다 수렴 지표 측면에서 확률적으로 지배될 수 있는가?
• RQ2 추정량 간 볼록 순서가 점근적 분산 및 스펙트럼 갭과 같은 성능 지표의 순서화를 보장하는 데 충분한가?
• RQ3 쌍체 기법을 통해 서로 다른 불변 분포를 가진 마르코프 체인 간 성능 비교가 가능한가?
• RQ4 볼록 순서는 거의 최적인가, 아니면 더 약한 확률적 순서(예: 분산 순서)로도 충분한가?
• RQ5 이 프레임워크는 ABC-MCMC에서 분류 또는 평균화된 추정량을 사용하는 실용적 구현 향상에 어떻게 적용될 수 있는가?

주요 결과

• 추정량 간 볼록 순서는 정확한 근사 MCMC 알고리즘의 평균 수락 확률, 첫 번째 자기상관 계수, 점근적 분산, 스펙트럼 갭을 확률적으로 순서화하는 데 충분하다.
• 마르코프 쌍체 구축 기법은 서로 다른 불변 분포를 가진 체인 간 비교를 가능하게 하여 이전 방법에 비해 핵심적 진전을 이룬다.
• 반례를 통해 더 약한 분산 순서는 성능 순서화를 보장하지 못함을 보여주며, 이는 볼록 순서가 거의 최적임을 시사한다.
• 독립적인 추정량 복제본의 평균화는 볼록 순서 프레임워크 하에서 성능 지표에 대해 단조로운 개선을 이끈다.
• ABC-MCMC에서의 분류 기반 설계는 유도된 추정량 간 볼록 순서를 유도하므로 성능 향상이 보장된다.
• 레마 45의 스펙트럼 갭 경계는 확장된 체인의 오른쪽 스펙트럼 갭이 원래 체인의 것보다 위로 상한선을 가지며, 최소 수락 확률의 함수로 아래로 경계됨을 보여준다.