[논문 리뷰] Auxiliary Particle filtering within adaptive Metropolis-Hastings Sampling

M. Pitt, Ralph S. Silva외 2명|arXiv (Cornell University)|2010. 06. 09.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 27

한 줄 요약

이 논문은 비선형·비정규 상태공간 모델에서 베이지안 추론을 향상시키기 위해 적응형 독립 메트로폴리스-하스팅스 샘플러와 완전 적응형 보조 입자 필터링을 조합한 방법을 제안한다. 정규분포 혼합 제안 분포와 노이즈 감소 입자 필터링을 사용함으로써, 표준 방법보다 최대 4배 빠른 속도로 유의미하게 높은 효율성을 달성하며, 편향 없는 시뮬레이션 가능도를 보장하고 모델 비교를 위한 효율적인 주변 가능도 추정을 가능하게 한다.

ABSTRACT

Our article deals with Bayesian inference for a general state space model with the simulated likelihood computed by the particle filter. We show empirically that the partially or fully adapted particle filters can be much more efficient than the standard particle, especially when the signal to noise ratio is high. This is especially important because using the particle filter within MCMC sampling is O(T^2), where T is the sample size. We also show that an adaptive independent proposal for the unknown parameters based on a mixture of normals can be much more efficient than the usual optimal random walk methods because the simulated likelihood is not continuous in the parameters and the cost of constructing a good adaptive proposal is negligible compared to the cost of evaluating the simulated likelihood. Independent \MH proposals are also attractive because they are easy to run in parallel on multiple processors. The article also shows that the proposed \aimh sampler converges to the posterior distribution. We also show that the marginal likelihood of any state space model can be obtained in an efficient and unbiased manner by using the \pf making model comparison straightforward. Obtaining the marginal likelihood is often difficult using other methods. Finally, we prove that the simulated likelihood obtained by the auxiliary particle filter is unbiased. This result is fundamental to using the particle for MCMC sampling and is first obtained in a more abstract and difficult setting by Del Moral (2004). However, our proof is direct and will make the result accessible to readers.

연구 동기 및 목표

• 비선형·비정규 상태공간 모델에서 베이지안 추론을 위한 더 효율적인 마르코프 체인 몬테카를로(MCMC) 방법을 개발하기 위해.
• 표본 크기 T에 대해 O(T²)로 증가하는 MCMC 내부의 입자 필터링의 높은 계산 비용을 해결하기 위해.
• 특히 가능도가 매개변수에 대해 불연속적인 경우에, 정규분포 혼합 기반의 적응형 독립 메트로폴리스-하스팅스 제안을 통해 샘플링 효율을 향상시키기 위해.
• 입자 필터링과 다리 샘플링을 조합하여 주변 가능도를 효율적이고 편향 없이 추정함으로써 모델 비교를 가능하게 하기 위해.
• 보조 입자 필터의 시뮬레이션 가능도의 편향 없음을 증명하여 MCMC 내에서의 유효한 사후 추론을 뒷받침하기 위해.

제안 방법

• 과거 MCMC 샘플에서 갱신되는 다변수 정규분포 혼합을 기반으로 한 사후분포를 학습하는 적응형 독립 메트로폴리스-하스팅스 샘플러를 사용한다.
• 특히 고 신호 대 잡음 비율에서 효과적인 노이즈 감소를 위해, 완전 또는 부분 적응형 보조 입자 필터(APF)를 적용한다.
• 모델 비교를 위한 효율적이고 편향 없는 주변 가능도 계산을 위해 입자 필터링과 브릿지 또는 중요도 샘플링을 조합한다.
• MCMC의 타겟 밀도로 시뮬레이션 가능도를 적용하며, APF의 편향 없음을 입증한 바에 기반해 사후 추론의 유효성을 보장한다.
• MCMC 샘플링 중 정기적인 간격으로 적응형 제안의 순차적 갱신 방식을 적용한다.
• 독립 메트로폴리스-하스팅스 단계를 병렬화하여 월클럭 시간을 줄이며, 다중 코어 컴퓨팅을 활용한다.

실험 결과

연구 질문

• RQ1 불연속적인 시뮬레이션 가능도를 가진 상태공간 모델에서, 정규분포 혼합 제안을 사용하는 적응형 독립 메트로폴리스-하스팅스 샘플링이 표준 적응형 랜덤 워크 M-H보다 우수한가?
• RQ2 완전 적응형 보조 입자 필터링이 표준 입자 필터링에 비해 시뮬레이션 가능도의 분산을 유의미하게 감소시키는가?
• RQ3 입자 필터링과 브릿지 샘플링을 사용하여 상태공간 모델의 주변 가능도를 효율적이고 편향 없이 추정할 수 있는가?
• RQ4 보조 입자 필터에서 유도된 시뮬레이션 가능도는 편향이 없으며, 이는 유효한 MCMC 추론을 뒷받침하는가?
• RQ5 표준 방법 대비 적응형 독립 M-H와 완전 적응형 APF를 조합한 경우의 계산 효율성 향상은 어느 정도인가?

주요 결과

• 10,000개의 입자를 사용하더라도, 정규분포 혼합 제안을 사용하는 적응형 독립 M-H 샘플러는 표준 입자 필터링을 사용하는 적응형 랜덤 워크 M-H보다 최대 4배 높은 효율성을 보였다.
• 완전 적응형 보조 입자 필터링은 표준 필터(10,000개 입자)에서 시뮬레이션된 로그 가능도의 표준편차를 0.51에서, 완전 적응형 필터(1,000개 입자)에서 0.31로 감소시켰다.
• 500개의 입자를 사용했을 때, 완전 적응형 APF는 표준 필터(10,000개 입자)보다 낮은 시뮬레이션된 로그 가능도 표준편차(0.43)를 달성했다.
• 완전 적응형 APF를 사용할 경우, 적응형 독립 M-H 샘플러는 34.44%의 높은 수용률과 6.61의 낮은 비효율성(inefficiency)을 기록했고, 반면 적응형 랜덤 워크 M-H는 13.25% 수용률과 40.47의 높은 비효율성(inefficiency)을 보였다.
• 보조 입자 필터에서 유도된 시뮬레이션 가능도는 증명된 바에 따라 편향이 없으며, 이는 MCMC 내에서의 사후 추론에 편향을 유입하지 않음을 뒷받침한다.
• 주변 가능도는 효율적이고 편향 없이 추정되었으며, 이는 다양한 상태공간 모델 간의 간편한 모델 비교를 가능하게 하였다.