[논문 리뷰] Parameter elimination in particle Gibbs sampling

Anna Wigren, Riccardo Sven Risuleo외 2명|arXiv (Cornell University)|2019. 10. 30.

Statistical Methods and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 상태공간 모델에서 매개변수를 상태 갱신 단계에서 제거함으로써 베이지안 추론을 향상시키기 위해 고도화된 입자 길버트(Gibbs) 샘플링(mPG)과 조상 샘플링을 통한 고도화된 입자 길버트(Gibbs) 샘플링(mPGAS)을 제안한다. 공액 사전확률을 활용해 매개변수를 극복함으로써, 한계에서 독립적인 표본을 얻을 수 있으며, 표준 PG/PGAS에 비해 자기상관을 줄일 수 있다. 이는 충분통계량을 활용해 선형 시간 복잡도를 유지함으로써 달성된다.

ABSTRACT

Bayesian inference in state-space models is challenging due to high-dimensional state trajectories. A viable approach is particle Markov chain Monte Carlo, combining MCMC and sequential Monte Carlo to form "exact approximations" to otherwise intractable MCMC methods. The performance of the approximation is limited to that of the exact method. We focus on particle Gibbs and particle Gibbs with ancestor sampling, improving their performance beyond that of the underlying Gibbs sampler (which they approximate) by marginalizing out one or more parameters. This is possible when the parameter prior is conjugate to the complete data likelihood. Marginalization yields a non-Markovian model for inference, but we show that, in contrast to the general case, this method still scales linearly in time. While marginalization can be cumbersome to implement, recent advances in probabilistic programming have enabled its automation. We demonstrate how the marginalized methods are viable as efficient inference backends in probabilistic programming, and demonstrate with examples in ecology and epidemiology.

연구 동기 및 목표

• 표준 PG/PGAS가 근사하는 비가역 길버트 샘플러를 초월할 수 없는 한계를 해결하기 위해.
• 매개변수를 상태 갱신 단계에서 제거함으로써 MCMC 표본의 자기상관을 줄이기 위해.
• 공액 사전확률이 있는 상태공간 모델에서 효율적인 추론을 가능하게 하기 위해 모델을 비마르코프형이지만 선형적으로 확장 가능한 형태로 변환하기 위해.
• Birch와 같은 확률 프로그래밍 프레임워크에서 고도화된 PMCMC 방법의 실현 가능성과 효율성을 입증하기 위해.
• 현대 확률 프로그래밍 도구를 활용해 매개변수 극복을 실용적이고 자동화된 방식으로 제공하기 위해.

제안 방법

• 사전확률과 완전 데이터 우도 사이의 공액성을 활용해 상태 갱신에서 정적 매개변수를 극복한다.
• PG와 PGAS의 극복된 형태인 mPG/mPGAS를 유도하여, 매개변수에 의존하지 않는 조건부 사후분포 p(x₀:T|y₁:T)에서 상태를 샘플링한다.
• SMC 알고리즘에서 충분통계량을 사용해, 극복으로 인해 발생하는 비마르코프형 의존성에도 불구하고 선형 시간 복잡도를 유지한다.
• Birch 확률 프로그래밍 언어에 이 방법을 구현하여 자동 극복과 기존 추론 파ip라인과의 통합을 가능하게 한다.
• 희박한 사전확률이 있는 경우를 다루기 위해 블로킹 전략을 사용하며, cSMC와 mcSMC 갱신을 조합해 안정성을 향상시킨다.
• 최근 확률 프로그래밍 분야의 발전을 활용해 극복을 자동화함으로써 수동 구현의 부담을 줄인다.

실험 결과

연구 질문

• RQ1 입자 길버트 샘플링에서 상태 갱신에서 매개변수를 극복하면, 표준 PG/PGAS에 비해 더 빠른 혼합 속도와 더 낮은 자기상관을 달성할 수 있는가?
• RQ2 매개변수 극복은 원래 길버트 샘플러가 종속적인 표본을 생성하더라도, 무한한 입자 수의 한계에서 거의 독립적인 표본을 생성할 수 있게 하는가?
• RQ3 비마르코프형 의존성이 도입되더라도, 고도화된 SMC의 계산 비용은 시간 단계 수에 대해 선형 유지가 가능한가?
• RQ4 매개변수 극복을 어떻게 자동화하고 현대적 확률 프로그래밍 프레임워크에 통합할 수 있는가?
• RQ5 실제 생태학적 및 전염병학적 모델에 고도화된 PMCMC를 적용했을 때 성능 향상과 제약 조건은 무엇인가?

주요 결과

• mPG와 mPGAS는 무한한 입자 수의 한계에서 독립적인 표본을 얻으며, 자기상관 함수가 지연 1에서 0으로 떨어지는 것으로 나타났다. 이는 표준 PGAS가 종속적인 길버트 샘플러로 수렴하는 것과는 다름.
• 고도화된 샘플러는 자기상관을 크게 줄였으며, 합성 및 실제 모델 모두에서 mPG가 PG와 PGAS보다 더 빠른 수렴 속도와 낮은 종속성을 보였다.
• 노래새 개체군 모델에서 밀도 조절 매개변수 c의 추정 분포는 문헌 값과 일치하여, 이 방법의 정확성을 검증했다.
• 충분통계량을 사용함으로써, 극복 후 비마르코프형 모델이 되었음에도 불구하고 선형 시간 복잡도를 유지했다.
• 수치 결과는 mPG와 mPGAS가 효과적인 표본 크기와 수렴 속도 측면에서 표준 PGAS를 뛰어넘는 것으로 나타났으며, 특히 고차원 상태공간에서 두드러졌다.
• Birch에 구현된 결과 자동 극복이 가능함을 보여주어, 이 방법이 실용적이고 현대적 확률 프로그래밍 워크플로우에 통합 가능하다는 것을 입증했다.