[논문 리뷰] Particle filtering within adaptive Metropolis Hastings sampling

Ralph S. Silva, Paolo Giordani외 2명|ArXiv.org|2009. 11. 02.

Markov Chains and Monte Carlo Methods참고 문헌 25인용 수 9

한 줄 요약

이 논문은 비정규 상태공간 모형에서 정확한 베이지안 추론을 가능하게 하기 위해 입자 필터링을 통합한 적응형 메트로폴리스-하스팅스 샘플링 프레임워크를 제안한다. 적응형 독립 메트로폴리스-하스팅스 샘플링이 적응형 랜덤 워크보다 더 높은 효율성을 보이며, 더 나은 제안 분포 적응과 뛰어난 병렬처리를 통해 성능 향상을 이룬다. 또한 입자 필터링은 모델 비교를 위한 편향 없는 효율적인 주변 가능도 추정을 가능하게 한다.

ABSTRACT

We show that it is feasible to carry out exact Bayesian inference for non-Gaussian state space models using an adaptive Metropolis Hastings sampling scheme with the likelihood approximated by the particle filter. Furthermore, an adapyive independent Metropolis Hastings sampler based on a mixture of normals proposal is computationally much more efficient than an adaptive random walk proposal because the cost of constructing a good adaptive proposal is negligible compared to the cost of approximating the likelihood. Independent Metropolis Hastings proposals are also attractive because they are easy to run in parallel on multiple processors. We also show that when the particle filter is used, the marginal likelihood of any model is obtained in an efficient and unbiased manner, making model comparison straightforward.

연구 동기 및 목표

• 일반적인 비정규 상태공간 모형에서 정확한 베이지안 추론을 위한 실현 가능하고 효율적인 방법을 개발하는 것.
• 혼합 정규 분포 제안을 사용하는 적응형 독립 메트로폴리스-하스팅스와 적응형 랜덤 워크 메트로폴리스-하스팅스의 계산 효율성을 비교하는 것.
• 입자 필터링이 모델 비교를 위한 편향 없는 효율적인 주변 가능도 추정을 가능하게 하는지 보여주는 것.
• 아스마 및 린츠 데이터를 포함한 실제 시계열 데이터에 대해 제안된 방법의 성능을 평가하는 것.
• 적응형 독립 메트로폴리스-하스팅스 기법이 높은 수준의 병렬처리가 가능하여 8개의 프로세서에서 계산 시간을 5배에서 30배까지 감소시킬 수 있음을 보여주는 것.

제안 방법

• 관측 및 상태 전이 밀도가 알려진 비정규 상태공간 모형에서 계산이 불가능한 가능도를 입자 필터링을 통해 근사한다.
• 이전 샘플들로부터 사후 분포의 구조를 학습하기 위해 혼합 정규 분포 제안 분포를 사용하는 적응형 독립 메트로폴리스-하스팅스 샘플러를 적용한다.
• 비교를 위해 세 구성 요소 적응(로버츠 & 로젠탈, 2009)을 사용하는 적응형 랜덤 워크 메트로폴리스-하스팅스 기법을 적용한다.
• 모델 비교를 위해 다리 샘플링과 중요도 샘플링을 사용하여 편향 없는 주변 가능도 추정치를 계산한다.
• 특히 독립 제안 기법에서 유리한 성능을 내기 위해 병렬 컴퓨팅을 통해 여러 프로세서에 입자 필터 평가를 분산한다.
• 보조 변수를 도입하여 입자 필터링을 메트로폴리스-하스팅스 알고리즘에서 가능도 근사로 사용하는 것이 타당함을 정당화한다(안드리에우 등, 2010).

실험 결과

연구 질문

• RQ1 입자 필터링은 비정규 상태공간 모형에서 정확한 베이지안 추론을 가능하게 하기 위해 적응형 메트로폴리스-하스팅스와 효과적으로 통합될 수 있는가?
• RQ2 이 경우, 혼합 정규 분포 제안을 사용하는 적응형 독립 메트로폴리스-하스팅스 샘플러는 적응형 랜덤 워크 메트로폴리스-하스팅스보다 더 높은 계산 효율성을 보이는가?
• RQ3 입자 필터링과 함께 적응형 MCMC를 사용할 때 병렬처리가 계산 효율성 향상에 얼마나 기여하는가?
• RQ4 MCMC 프레임워크 내에서 입자 필터링을 사용해 주변 가능도를 효율적이고 편향 없이 추정할 수 있는가?
• RQ5 실제 시계열 데이터에서 두 샘플링 기법의 비효율성과 수용률은 어떻게 비교되는가?

주요 결과

• 린츠 데이터에 대해 적응형 독립 메트로폴리스-하스팅스 샘플러의 중앙값 비효율성은 6.86(IQR: 2.99)이었고, 적응형 랜덤 워크 메트로폴리스의 경우 56.41(IQR: 4.40)이었으며, 이는 더 나은 믹싱을 의미한다.
• 아스마 데이터에 대해 독립 제안의 중앙값 비효율성은 8.51(IQR: 6.18)이었고, 랜덤 워크의 경우 68.46(IQR: 7.00)이었으며, 이는 샘플링 효율성 향상의 상당한 증거이다.
• 독립 제안의 중앙값 효과적 계산 시간(ECT)은 8개 프로세서에서 1.90이었고, 랜덤 워크의 경우 107.70이었으며, 이는 계산 시간이 56배 감소한 것을 의미한다.
• 적응형 독립 메트로폴리스-하스팅스 샘플러는 표준 입자 필터를 사용할 때 중앙값 수용률이 40.07%를 기록하여, 랜덤 워크의 26.37%보다 유의미하게 높았으며, 이는 더 나은 제안 조정을 의미한다.
• 다리 샘플링과 중요도 샘플링은 일관되고 편향 없는 주변 가능도 추정치를 제공하였으며, 수준 모형과 수준-추세 모형의 로그 주변 가능도는 각각 -2558.3과 -2577.2였으며, 이는 모델 비교의 가능성을 확인한다.
• 입자 필터 기반 가능도 근사화는 주변 가능도의 편향 없는 추정을 가능하게 하여, 모델 비교를 간편하고 계산적으로 효율적으로 만들었다.