[논문 리뷰] Uniform Ergodicity of the Iterated Conditional SMC and Geometric Ergodicity of Particle Gibbs Samplers

Christophe Andrieu, Anthony Lee외 1명|arXiv (Cornell University)|2013. 12. 22.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 6

한 줄 요약

이 논문은 상태공간 모델에서 반복 조건부 SMC(i-cSMC) 및 입자 깁스(PGibbs) 샘플러에 대한 균일 및 기하적 유클리드 조건을 수립한다. i-cSMC의 균일 유클리드 조건을 위해 잠재 함수의 본질적 유계성은 필수적이고 충분한 조건이며, 입자 수 N이 증가할수록 수렴 속도가 향상됨을 증명한다; 이러한 결과는 PGibbs 샘플러로 확장되며, 이는 기하적 유클리드성과 함께 N이 증가함에 따라 진정한 깁스 샘플러로 수렴함을 보여준다.

ABSTRACT

We establish quantitative bounds for rates of convergence and asymptotic variances for iterated conditional sequential Monte Carlo (i-cSMC) Markov chains and associated particle Gibbs samplers. Our main findings are that the essential boundedness of potential functions associated with the i-cSMC algorithm provide necessary and sufficient conditions for the uniform ergodicity of the i-cSMC Markov chain, as well as quantitative bounds on its (uniformly geometric) rate of convergence. This complements more straightforward results for the particle independent Metropolis--Hastings (PIMH) algorithm. Our results for i-cSMC imply that the rate of convergence can be improved arbitrarily by increasing N, the number of particles in the algorithm, and that in the presence of mixing assumptions, the rate of convergence can be kept constant by increasing N linearly with the time horizon. Neither of these phenomena are observed for the PIMH algorithm. We translate the sufficiency of the boundedness condition for i-cSMC into sufficient conditions for the particle Gibbs Markov chain to be geometrically ergodic and quantitative bounds on its geometric rate of convergence. These results complement recently discovered, and related, conditions for the particle marginal Metropolis-- Hastings (PMMH) Markov chain. This is joint work with Anthony Lee and Matti Vihola.

연구 동기 및 목표

• 반복 조건부 SMC(i-cSMC) 및 입자 깁스(PGibbs) 샘플러의 수렴 속도와 점근적 분산에 대한 정량적 경계를 수립하기 위해.
• i-cSMC 마르코프 체인의 균일 유클리드 조건에 대한 필요 및 충분 조건을 규명하기 위해, 특히 잠재 함수의 본질적 유계성에 대해.
• i-cSMC의 유클리드 조건을 PGibbs 샘플러의 기하적 유클리드 조건으로 번역하기 위해.
• 입자 수 N을 증가시킴으로써 PGibbs의 성능을 임의로 향상시킬 수 있음을 보이며, 시간-수평 스케일링 하에서도 수렴 속도를 유지할 수 있음을 보여주기 위해.
• PIMH 및 PMMH와의 수렴 성질을 비교하여, i-cSMC 및 PGibbs가 N 증가에 따라 더 우수한 확장성을 보임을 강조하기 위해.

제안 방법

• 이중 조건부 SMC 알고리즘 하에서 정규화 상수 추정치의 기대값에 대한 새로운 비점근적 분석을 개발한다.
• 커플링 추론 및 측도 이론 도구를 사용하여 i-cSMC 마르코프 체인의 균일 기하적 수렴 속도에 대한 정량적 경계를 유도한다.
• 미묘한 정규성 조건 하에서 i-cSMC의 균일 유클리드 조건은 잠재 함수가 본질적으로 유계일 때에만 성립하며, 이 조건은 필요 및 충분 조건이 된다.
• 유계성 조건을 커플링 기반 추론을 통해 PGibbs 샘플러의 기하적 유클리드 조건을 위한 충분 조건으로 번역한다.
• 진정한 깁스 체인의 성능과의 연관성을 통해 PGibbs 체인이 진정한 깁스 샘플러로 수렴하는 방식을 분석한다.
• i-cSMC 및 PGibbs 알고리즘을 PIMH 및 PMMH와 비교하며, i-cSMC 및 PGibbs의 수렴 속도는 N이 증가함에 따라 향상되나, PIMH 및 PMMH는 그렇지 않음을 강조한다.

실험 결과

연구 질문

• RQ1 반복 조건부 SMC(i-cSMC) 마르코프 체인이 어떤 조건에서 균일 유클리드일 수 있는가?
• RQ2 잠재 함수의 본질적 유계성은 i-cSMC의 균일 유클리드성에 대해 필수적이고 충분한 조건인가?
• RQ3 i-cSMC와 동일한 유계성 조건 하에서 입자 깁스(PGibbs) 샘플러의 기하적 유클리드성을 보장할 수 있는가?
• RQ4 i-cSMC 및 PGibbs의 수렴 속도는 입자 수 N에 따라 어떻게 달라지며, 시간-수평 성장에 따라 수렴 속도를 개선하거나 안정화시킬 수 있는가?
• RQ5 i-cSMC 및 PGibbs의 수렴 성질은 PIMH 및 PMMH와 비교해 어떻게 다를 수 있으며, 특히 N 증가에 따른 확장성 측면에서 어떻게 다를까?

주요 결과

• i-cSMC 마르코프 체인이 본질적으로 유계인 잠재 함수가 있을 때에만 균일 유클리드이며, 이 조건은 많은 현실적인 응용에서 기하적 유클리드성에 필수적이고 충분한 조건이다.
• 입자 수 N을 증가시킴으로써 i-cSMC 체인의 수렴 속도를 임의로 빠르게 만들 수 있으며, 이에 대한 정량적 경계는 N에 따라 기술된다.
• 혼합 가정이 성립할 경우, 시간 수평 T에 대해 N을 선형으로 증가시킴으로써 i-cSMC의 수렴 속도를 일정하게 유지할 수 있다.
• 잠재 함수가 본질적으로 유계이면 입자 깁스 샘플러는 기하적 유클리드이며, N이 증가함에 따라 그 수렴 성질은 진정한 깁스 샘플러의 성질로 수렴한다.
• PIMH 및 PMMH와 달리, N 증가에 따라 수렴 속도가 향상되지 않는 반면, i-cSMC 및 PGibbs 샘플러는 N이 증가함에 따라 수렴 속도가 향상되어 대규모 추론에 더 우수한 확장성을 보인다.
• PGibbs 하에서의 추정치의 점근적 분산은 N → ∞일 때 진정한 깁스 샘플러의 분산으로 수렴하며, 이에 대한 정량적 경계는 정리 27에 제시되어 있다.