[논문 리뷰] Bayesian Inference for State Space Models using Block and Correlated Pseudo Marginal Methods

Praveen B. Choppala, David Gunawan외 3명|arXiv (Cornell University)|2016. 12. 21.

Statistical Methods and Bayesian Inference참고 문헌 21인용 수 14

한 줄 요약

이 논문은 상태공간 모델에 대해 상태공간 대신 교란공간에서 작동하는 상관된 가짜우도(Correlated Pseudo-Marginal, CPM) 방법을 제안한다. 이는 상태 전이 밀도가 비가역적이거나 고차원적인 경우 효율성을 향상시킨다. 또한 블록형 가짜우도(Pseudo-Marginal, BPM) 방법을 도입하여 블록화된 난수를 사용하는 병렬 입자 필터를 적용함으로써 표준 PM 대비 약 1540배, 교란 CPM 대비 약 57배 높은 효율성을 달성한다. 이는 금융 시계열 응용 분야에서 성과가 뛰어나다.

ABSTRACT

This article addresses the problem of efficient Bayesian inference in dynamic systems using particle methods and makes a number of contributions. First, we develop a correlated pseudo-marginal (CPM) approach for Bayesian inference in state space (SS) models that is based on filtering the disturbances, rather than the states. This approach is useful when the state transition density is intractable or inefficient to compute, and also when the dimension of the disturbance is lower than the dimension of the state. Second, we propose a block pseudo-marginal (BPM) method that uses as the estimate of the likelihood the average of G independent unbiased estimates of the likelihood. We associate a set of underlying uniform of standard normal random numbers used to construct each of the individual unbiased likelihood estimates and then use component-wise Markov Chain Monte Carlo to update the parameter vector jointly with one set of these random numbers at a time. This induces a correlation of approximately 1-1/G between the logs of the estimated likelihood at the proposed and current values of the model parameters. Third, we show for some non-stationary state space models that the BPM approach is much more efficient than the CPM approach, because it is difficult to translate the high correlation in the underlying random numbers to high correlation between the logs of the likelihood estimates. Although our focus has been on applying the BPM method to state space models, our results and approach can be used in a wide range of applications of the PM method, such as panel data models, subsampling problems and approximate Bayesian computation.

연구 동기 및 목표

• 상태 전이 밀도가 비가역적이거나 계산 비용이 높은 상태공간 모델에서 베이지안 추론의 효율성을 향상시키는 것.
• 표준 입자 MCMC 방법의 높은 계산 비용을 줄이기 위해 안정적인 혼합을 위해 필요한 입자 수를 감소시키는 것.
• 난수를 블록화하고 파arameter를 블록 단위로 동시에 업데이트함으로써 다수의 프로세서를 활용하는 방법을 개발하는 것.
• 상관된 가짜우도 방법을 상태공간이 아닌 교란공간으로 확장하여 차원이 낮고 필터링이 더 효율적인 환경에서 적용하는 것.
• 표준 PM 및 CPM 대비 BPM 방법의 효율성을 효과적 표본 크기와 계산 시간 측면에서 입증하는 것.

제안 방법

• CPM 방법은 상태공간 대신 교란공간에서 유사성을 유지함으로써 우도 추정치 간의 상관관계를 유지하여 로그우도 추정치의 상관관계를 보존한다.
• BPM 방법은 G개의 독립적인 입자 필터 추정치의 평균으로 우도를 추정하며, 각각은 i.i.d. 균일분포 또는 정규분포 난수의 블록을 사용한다.
• 각 MCMC 반복에서 모델 파라미터와 하나의 난수 블록을 동시에 업데이트함으로써 로그우도 추정치 간의 상관관계가 약 1 - 1/G가 된다.
• 각 성분별 MCMC를 통해 파라미터와 하나의 난수 블록을 번갈아가며 업데이트함으로써 수렴 속도를 향상시키고 수용 비율의 분산을 줄인다.
• BPM 프레임워크는 다수의 프로세서에서 병렬 실행을 지원하며, 우도 추정치는 독립적으로 계산되고 평균화된다.
• 이 방법은 기울기 기반 제안 분포를 포함하여 확장되어 통합 자기상관시간(IAT)을 감소시킴으로써 수렴 효율성을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 상태 전이 밀도가 비가역적인 경우, 상관된 가짜우도 방법을 교란 기반 상태공간 모델에 효과적으로 적용하여 수렴 효율을 향상시킬 수 있는가?
• RQ2 입자 필터 우도 추정에서 난수를 블록화하면 로그우도 추정치의 분산을 줄이고 MCMC 효율성을 향상시킬 수 있는가?
• RQ3 블록형 가짜우도 방법은 표준 및 상관된 가짜우도 방법에 비해 계산 비용과 효과적 표본 크기 측면에서 어떻게 비교되는가?
• RQ4 비가역 우도를 가진 고차원 또는 비 stationary 시계열 모델에서 BPM 방법이 상당한 효율 향상을 달성할 수 있는가?
• RQ5 제안 분포에 기울기 정보를 사용할 경우 BPM 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• All Ordinaries 데이터셋(T=3564)에서 BPM 방법은 표준 PM 대비 약 1540배, 교란 CPM 대비 약 57배 높은 효율성을 보였으며, 상대적 시간 정규화 분산(RTNV)은 0.0006이었다.
• S&P 500 데이터셋(T=7832)에서는 BPM 방법이 교란 CPM 대비 약 280배, 표준 PM 대비 약 100배 높은 효율성을 보였으며, RTNV는 0.0036이었다.
• 기울기 기반 제안을 사용한 BPM 방법은 변동성 파라미터의 통합 자기상관시간(IAT)을 ARW 제안 대비 5.1451로 줄였다.
• BPM에서는 로그우도 추정치의 분산이 약 1.6을 유지하였으며, 이는 교란 CPM에서 관찰된 10.6833보다 현저히 낮아 수렴이 더 우수함을 시사한다.
• BPM에서는 로그우도 추정치 간 상관계수(ρl)가 0.9167에 도달하여 제안된 값과 현재 값 간 강한 상관관계를 보였다.
• All Ordinaries 데이터셋에서는 BPM 방법이 CPM 대비 입자 수를 100으로 줄였고, 이는 동일한 성능을 달성하기 위한 입자 수의 상당한 감소를 의미한다.