[논문 리뷰] Control Variates for Reversible MCMC Samplers

Πέτρος Δελλαπόρτας, Ioannis Kontoyiannis|arXiv (Cornell University)|2010. 08. 07.

Markov Chains and Monte Carlo Methods참고 문헌 67인용 수 4

한 줄 요약

이 논문은 가역 MCMC 샘플러에서 최적의 제어 변수 계수를 위한 새로운 일致된 추정기법을 제안한다. 이는 목적 분포와 MCMC 커널과 연관된 포아송 방정식의 유한 차원 해를 활용한다. 정(stationary) 분포와 전이 커널에서 유도된 함수를 기반으로 제어 변수를 구성함으로써, 특히 공액(conjugate) 깁스 및 메트로폴리스-내부 깁스 설정에서 상당한 분산 감소를 달성한다—어떤 경우는 극적으로도 나타난다.

ABSTRACT

A general methodology is introduced for the construction and effective application of control variates to estimation problems involving data from reversible MCMC samplers. We propose the use of a specific class of functions as control variates, and we introduce a new, consistent estimator for the values of the coefficients of the optimal linear combination of these functions. The form and proposed construction of the control variates is derived from our solution of the Poisson equation associated with a specific MCMC scenario. The new estimator, which can be applied to the same MCMC sample, is derived from a novel, finite-dimensional, explicit representation for the optimal coefficients. The resulting variance-reduction methodology is primarily applicable when the simulated data are generated by a conjugate random-scan Gibbs sampler. MCMC examples of Bayesian inference problems demonstrate that the corresponding reduction in the estimation variance is significant, and that in some cases it can be quite dramatic. Extensions of this methodology in several directions are given, including certain families of Metropolis-Hastings samplers and hybrid Metropolis-within-Gibbs algorithms. Corresponding simulation examples are presented illustrating the utility of the proposed methods. All methodological and asymptotic arguments are rigorously justified under easily verifiable and essentially minimal conditions.

연구 동기 및 목표

• 마코프 의존성의 복잡성과 알려진 제로 평균 함수의 부재로 인해 MCMC에서 효과적인 제어 변수 방법이 부족한 문제를 해결하기 위해.
• 무한 차원 분산 추정의 과제를 극복하기 위해 동일한 MCMC 샘플을 사용하여 최적의 제어 변수 계수에 대한 일치하고 계산 가능한 추정기법을 개발하기 위해.
• 공액 깁스 샘플러와 특정 메트로폴리스-해스팅스 및 하이브리드 알고리즘에 적용 가능한 엄밀하고 최소 조건 기반의 분산 감소 프레임워크를 제공하기 위해.
• 검증 가능한 조건 하에서 제안된 추정기의 이론적 일致성과 점근 정규성을 확립하기 위해.

제안 방법

• 목적 분포와 MCMC 커널과 연관된 포아송 방정식의 해를 기반으로 제어 변수를 유도함으로써, 정적 측도 하에서 제로 평균을 보장한다.
• 제어 변수 선형 조합의 최적 계수 벡터 θ*에 대한 유한 차원, 명시적 표현을 제안한다.
• 전이 커널과 정적 측도에서 유도된 함수의 경험 평균을 사용하여, 동일한 MCMC 샘플에 적용 가능한 θ*의 일치 추정기법을 제안한다.
• 에르고딕 정리와 마틴갈 기법을 활용하여, 최소 조건 하에서 계수 및 분산 추정기의 거의 확실 수렴을 증명한다.
• 제어 변수를 충분 통계량과 그 조건부 기대값에서 유도함으로써, 공액 무작위 스캔 깁스 샘플러에 적용한다.
• 포아송 방정식 해법과 계수 추정을 적응시켜 메트로폴리스-해스팅스 및 하이브리드 메트로폴리스-내부 깁스 샘플러에 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 가역 MCMC 샘플러에 대해 포아송 방정식의 해를 활용하여 제어 변수를 체계적으로 구성할 수 있는가?
• RQ2 추가 시뮬레이션 없이, 오직 MCMC 샘플만을 사용하여 제어 변수 선형 조합의 최적 계수를 일관되게 추정할 수 있는가?
• RQ3 이 방법을 통해 공액 깁스 및 메트로폴리스-해스팅스 샘플러에서 이론적으로 달성 가능한 분산 감소는 어느 정도인가?
• RQ4 최소한의 정규성 조건 하에서, 제안된 계수 및 분산 추정기의 점근적 행동은 어떻게 되는가?
• RQ5 이 방법은 메트로폴리스와 깁스 단계를 조합한 하이브리드 알고리즘으로 확장할 수 있는가?

주요 결과

• 제안된 최적 제어 변수 계수 추정기는 최소한의 검증 가능한 조건 하에서 진짜 최적 값으로 거의 확실하게 수렴한다.
• 결과적으로 MCMC 추정기의 분산이 상당히 감소하며, 일부 베이지안 추론 문제에서는 '극적'이라고 기술되는 감소율을 보인다.
• 특히 공액 무작위 스캔 깁스 샘플러에서 매우 효과적이며, 이 경우 제어 변수는 충분 통계량과 그 조건부 기대값에서 구성된다.
• 통제된 추정기의 점근 분산은 표준 에르고딕 평균보다 엄격히 작으며, 이 감소는 포아송 방정식의 해를 통해 정량화된다.
• 원래 MCMC 과정에서 유도된 이변량 및 다변량 체인에 에르고딕 정리를 적용하여 계수 추정기의 일치성을 증명한다.
• 메트로폴리스-해스팅스 및 하이브리드 알고리즘으로 프레임워크를 확장하였으며, 시뮬레이션 예제를 통해 실용성과 분산 감소를 입증한다.