[논문 리뷰] On Scalable Particle Markov Chain Monte Carlo

David Gunawan, Chris Carter외 1명|arXiv (Cornell University)|2018. 04. 12.

Financial Risk and Volatility Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 비선형·비정규 상태공간 모델에 대한 베이지안 추론의 확장성을 향상시키기 위해 표적 밀도를 입자가 아니라 기본적인 균등분포 또는 표준정규분포 랜덤 변수의 함수로 재정의함으로써 하이브리드 입자 마르코프 체인 몬테카를로(PMCMC) 방법을 제안한다. 이러한 기본 변수에 조건을 두어, 상호상관이 강하거나 계산 비용이 큰 매개변수들을 효율적으로 샘플링할 수 있으며, 이는 큰 수의 매개변수와 잠재 상태를 가진 모델에서 기존 PMCMC 방법보다 훨씬 높은 효율성을 달성한다. 이와 동시에 에르고딕성도 보장한다.

ABSTRACT

Particle Markov Chain Monte Carlo (PMCMC) is a general approach to carry out Bayesian inference in non-linear and non-Gaussian state space models. Our article shows how to scale up PMCMC in terms of the number of observations and parameters by expressing the target density of the PMCMC in terms of the basic uniform or standard normal random numbers, instead of the particles, used in the sequential Monte Carlo algorithm. Parameters that can be drawn efficiently conditional on the particles are generated by particle Gibbs. All the other parameters are drawn by conditioning on the basic uniform or standard normal random variables; e.g. parameters that are highly correlated with the states, or parameters whose generation is expensive when conditioning on the states. The performance of this hybrid sampler is investigated empirically by applying it to univariate and multivariate stochastic volatility models having both a large number of parameters and a large number of latent states and shows that it is much more efficient than competing PMCMC methods. We also show that the proposed hybrid sampler is ergodic.

연구 동기 및 목표

• 관측 수와 매개변수의 수가 많아질 경우 표준 PMCMC 방법의 계산 비효율성을 해결하기 위해.
• 고차원의 잠재 상태를 가진 비선형·비정규 상태공간 모델에 대한 베이지안 추론에서 혼합성과 수렴성을 향상시키기 위해.
• 매개변수의 종속성 구조와 계산 비용에 따라 분리하여 조건부 갱신을 더 효율적으로 수행할 수 있는 하이브리드 샘플링 전략을 개발하기 위해.
• 제안된 샘플러가 대규모 스튜디오 볼래틸리티 모델에서 성능을 크게 향상시키면서도 여전히 에르고딕성을 유지할 수 있도록 하기 위해.

제안 방법

• 순차 몽테카를로(SMC) 알고리즘에서 사용된 기본 균등분포 또는 표준정규분포 랜덤 변수에 대해 PMCMC의 표적 밀도를 재정의함으로써 입자 자체가 아닌 기본 변수에 기반한 표현을 사용한다.
• 입자에 조건부로 의존하는 매개변수들을 효율적으로 추출하기 위해 입자 기반 게이브스 샘플링을 사용한다.
• 특히 상태와 강하게 상관관계가 있거나 입자에 조건부로 생성할 경우 계산 비용이 큰 매개변수들을 모두 기본 균등분포 또는 표준정규분포 랜덤 변수에 조건을 두어 추출한다.
• SMC 리샘플링 메커니즘을 활용하여 반복 간에 일관되고 효율적인 제안 분포를 유지한다.
• 재정의 과정을 통해 공동 사후분포가 유지되며, MCMC 체인의 타당성이 보장된다.
• 약한 정규성 조건 하에서 최종 하이브리드 샘플러의 에르고딕성을 증명한다.

실험 결과

연구 질문

• RQ1 큰 수의 매개변수와 잠재 상태를 가진 모델로 확장될 때 PMCMC는 효율적으로 스케일링될 수 있는가?
• RQ2 기본 랜덤 변수에 기반한 표적 밀도 재정의가 입자 기반 조건부 설정에 비해 샘플링 효율성을 어떻게 향상시키는가?
• RQ3 조건부 종속성과 계산 비용에 따라 매개변수 갱신을 분리함으로써 MCMC 수렴성과 혼합성에 어떤 영향을 미치는가?
• RQ4 제안된 하이브리드 샘플러는 에르고딕성을 확보하여 진정한 사후분포로의 수렴을 보장하는가?

주요 결과

• 제안된 하이브리드 PMCMC 샘플러는 다변량 및 단변량 스튜디오 볼래틸리티 모델 모두에서 매개변수 및 상태 차원이 큰 경우 기존의 경쟁 PMCMC 방법보다 훨씬 높은 효율성을 달성한다.
• 기본 균등분포 또는 표준정규분포 랜덤 변수를 사용한 표적 밀도 재정의가, 잠재 상태와 강하게 상관관계가 있는 매개변수들의 효과적이고 효율적인 샘플링을 가능하게 한다.
• 입자에 조건부로 생성할 경우 계산 비용이 큰 매개변수들은 기본 랜덤 변수에 조건을 두어 효율적으로 갱신되며, 이로 인해 전체 계산 부담이 감소한다.
• 높은 차원 설정에서도 양호한 혼합성과 수렴 성질을 유지하며, 경험적 평가에서 표준 PMCMC를 능가한다.
• 이론적 분석을 통해 하이브리드 샘플러가 에르고딕함을 확인하였으며, 이는 진정한 사후분포로의 거의 확실한 수렴을 보장한다.
• 경험적 결과는 대규모 모델에서 효과적 샘플 크기와 계산 시간 측면에서 상당한 성능 향상을 보여준다.