[논문 리뷰] Efficiently Combining Pseudo Marginal and Particle Gibbs Sampling

David Gunawan, Chris Carter외 1명|arXiv (Cornell University)|2018. 04. 12.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 4

한 줄 요약

이 논문은 비선형성과 비정규성을 띤 상태공간 모델에 대한 베이지안 추론에서 효율성을 향상시키기 위해 상관된 가짜 마진형 샘플링과 입자 기반 제브리스 샘플링을 융합한 새로운 입자 MCMC 샘플러를 제안한다. 상관된 매개변수 갱신과 입자 기반 상태 추정을 활용함으로써, 독립적인 가짜 마진형 또는 입자 제브리스 방법에 비해 더 나은 혼합성과 수렴성을 달성한다. 이는 레버리지가 포함된 다변량 인자 스토케스틱 볼라티리티 모델에 대한 실험을 통해 입증되었다.

ABSTRACT

Particle Markov Chain Monte Carlo methods are used to carry out inference in non-linear and non-Gaussian state space models, where the posterior density of the states is approximated using particles. Deligiannidis (2017) introduce the correlated pseudo marginal sampler and show that it can be much more efficient than the standard pseudo marginal approach. Mendes (2018) propose a particle MCMC sampler that generates parameters that are highly correlated with the states using a pseudo marginal method that integrates out the states, while all other parameters are generated using particle Gibbs. Our article shows how to combine these two approaches to particle MCMC to obtain a flexible sampler with a superior performance to each of these two approaches. We illustrate the new sampler using a multivariate factor stochastic volatility model with leverage.

연구 동기 및 목표

• 고차원적, 비선형 상태공간 모델에서 표준 가짜 마진형 MCMC 방법의 비효율성을 해결하기 위해.
• 상관된 매개변수 갱신과 입자 기반 상태 추론을 통합하여 혼합성과 수렴성을 향상시키기 위해.
• 기존 입자 MCMC 방법들을 능가하는 유연하고 통합된 샘플링 프레임워크를 개발하기 위해.
• 레버리지가 포함된 도전적인 다변량 스토케스틱 볼라티리티 모델에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 상관된 가짜 마진형 샘플러(Deligiannidis, 2017)와 입자 제브리스 샘플링을 결합하여 매개변수와 상태 갱신을 높은 상관성으로 생성한다.
• 매개변수 갱신 시 상태를 통합하기 위해 가짜 마진형 접근법을 사용함으로써, 우도 추정의 분산을 감소시킨다.
• 상태공간 갱신을 위해 현재 매개변수 값에 조건부로 궤적을 재표본 추출하는 데 입자 제브리스를 활용한다.
• 상관된 매개변수 제안과 입자 기반 상태 추정의 공동 사용은 혼합성을 향상시키고 랜덤 워크 행동을 감소시킨다.
• 적절한 제안 및 수락 메커니즘 덕분에 상세 균형을 유지하고 유효한 베이지안 추론을 보장한다.

실험 결과

연구 질문

• RQ1 상관된 가짜 마진형 샘플링과 입자 제브리스를 융합하면 비선형성과 비정규성을 띤 상태공간 모델에 대한 입자 MCMC의 혼합성을 향상시킬 수 있는가?
• RQ2 이 하이브리드 샘플러는 독립적인 입자 제브리스와 가짜 마진형 방법에 비해 성능에서 어떻게 비교되는가?
• RQ3 수렴성과 효율성을 향상시키는 동안 계산 가능성을 유지하는가?
• RQ4 다변량 스토케스틱 볼라티리티 모델에서 매개변수-상태 상관성은 샘플링 효율성에 어떤 영향을 미치는가?

주요 결과

• 하이브리드 샘플러는 표준 입자 제브리스 및 가짜 마진형 방법에 비해 혼합 효율성이 크게 향상된다.
• 상관된 매개변수 갱신 덕분에 마르코프 체인 샘플의 수렴 속도가 빨라지고 자동상관도 감소한다.
• 레버리지가 포함된 다변량 인자 스토케스틱 볼라티리티 모델에 대한 실증 결과는 효과적 표본 크기와 계산 비용 측면에서 뛰어난 성능을 보였다.
• 가짜 마진형 기법을 통한 상태 마진화 통합은 매개변수 추정의 안정성을 향상시켰다.