[논문 리뷰] Ecological non-linear state space model selection via adaptive particle Markov chain Monte Carlo (AdPMCMC)

Gareth W. Peters, Geoff R. Hosack외 1명|arXiv (Cornell University)|2010. 05. 13.

Insurance, Mortality, Demography, Risk Management참고 문헌 37인용 수 29

한 줄 요약

이 논문은 생태학적 인구 역학을 위한 비선형 상태공간모형(SSM)에서 복잡하고 고차원적인 사후분포를 효율적으로 샘플링할 수 있는 적응형 입자 마르코프 체인 몬테카를로(AdPMCMC) 알고리즘을 제안한다. 적응형 메트로폴리스 제안과 순차적 몬테카를로(SMC) 필터링을 융합함으로써, 다중모달성과 강한 매개변수 상관관계를 가지는 모형에서 표준 MCMC의 열악한 혼합성 문제를 극복하며, 관측 및 과정 노이즈가 존재하더라도 베이즈 인자에 의한 강인한 베이지안 모형 선택이 가능해진다.

ABSTRACT

We develop a novel advanced Particle Markov chain Monte Carlo algorithm that is capable of sampling from the posterior distribution of non-linear state space models for both the unobserved latent states and the unknown model parameters. We apply this novel methodology to five population growth models, including models with strong and weak Allee effects, and test if it can efficiently sample from the complex likelihood surface that is often associated with these models. Utilising real and also synthetically generated data sets we examine the extent to which observation noise and process error may frustrate efforts to choose between these models. Our novel algorithm involves an Adaptive Metropolis proposal combined with an SIR Particle MCMC algorithm (AdPMCMC). We show that the AdPMCMC algorithm samples complex, high-dimensional spaces efficiently, and is therefore superior to standard Gibbs or Metropolis Hastings algorithms that are known to converge very slowly when applied to the non-linear state space ecological models considered in this paper. Additionally, we show how the AdPMCMC algorithm can be used to recursively estimate the Bayesian Cramér-Rao Lower Bound of Tichavský (1998). We derive expressions for these Cramér-Rao Bounds and estimate them for the models considered. Our results demonstrate a number of important features of common population growth models, most notably their multi-modal posterior surfaces and dependence between the static and dynamic parameters. We conclude by sampling from the posterior distribution of each of the models, and use Bayes factors to highlight how observation noise significantly diminishes our ability to select among some of the models, particularly those that are designed to reproduce an Allee effect.

연구 동기 및 목표

• 비선형이고 비정규 상태공간모형에서 흔히 발생하는 효율적이지 못한 MCMC 혼합성 문제를 해결하기 위해.
• 고차원적이고 복잡한 가능도 공간에서 잠재 상태와 정적 매개변수를 동시에 추정할 수 있는 강인하고 적응형 MCMC 방법을 개발하기 위해.
• 관측 오차와 과정 오차가 경쟁적 인구 성장 모형 간의 구별을 어렵게 할 때, 베이즈 인자를 사용한 모형 선택 성능을 평가하기 위해.
• 기존의 매개변수화 방식이 비현실적인 제약을 부과할 수 있으며, AdPMCMC를 통한 데이터 기반 추론이 사전 분포 의존성과 모형 모호성을 드러낼 수 있음을 보여주기 위해.

제안 방법

• AdPMCMC 알고리즘은 정적 매개변수를 위한 적응형 메트로폴리스 제안과 순차적 몬테카를로(SMC) 필터(SIR 입자 필터)를 결합하여, 비선형 SSM에서 잠재 상태와 모형 매개변수를 동시에 추론한다.
• 과거 샘플 기반으로 공분산을 조정하는 완전히 적응된 제안 분포를 사용하여 고차원 매개변수 공간에서 혼합성을 향상시킨다.
• Andrieu 등(2010)에서 제안한 입자 MCMC 방법을 적용하여 SMC를 통해 주변 가능도 추정치를 생성함으로써 선형화 없이도 공동 사후분포 샘플링이 가능하다.
• 알고리즘은 베이지안 크래머-라오 하한(CRLB)을 반복적으로 추정하여 통계적 효율성과 매개변수 추정 불확실성을 평가한다.
• 유연한 매개변수화를 허용하며, 예를 들어 r, K, θ와 같은 생태학적 매개변수를 직접 추정함으로써 변환된 매개변수(예: bi)를 사용하는 것과 같은 제약을 피할 수 있다.
• 매개변수에 대한 하이퍼프리오르를 지원함으로써 민감도 분석이 가능해지고 추론 과정에서의 사전 분포 의존성이 감소한다.

실험 결과

연구 질문

• RQ1 AdPMCMC는 비선형 생태학적 SSM에서 복잡하고 다중모달적인 가능도 표면을 가진 고차원 공동 사후분포를 효율적으로 샘플링할 수 있는가?
• RQ2 과정 오차와 관측 노이즈는 베이즈 인자를 사용한 경쟁적 인구 성장 모형 간의 구별 능력에 어떤 영향을 미치는가?
• RQ3 표준 매개변수화 방식(예: bi)이 생태학적 매개변수 r과 K 간에 의도하지 않은 사전 분포 의존성을 유도하는 정도는 어느 정도인가?
• RQ4 AdPMCMC 알고리즘이 고차원적이고 비선형적인 SSM에서 수렴성과 혼합성 측면에서 표준 메트로폴리스-해스팅스 내 잡스팅(MHG)보다 뛰어나게 성능을 발휘하는가?
• RQ5 반복적인 베이지안 크래머-라오 하한은 효과적으로 추정될 수 있으며, 비선형 SSM에서 매개변수 추정의 통계적 효율성을 평가하는 데 유용한 기준이 될 수 있는가?

주요 결과

• AdPMCMC 알고리즘은 비선형 SSM에서 복잡하고 고차원적인 사후분포를 효율적으로 탐색하며, 혼합성과 수렴 속도 측면에서 표준 MHG보다 뚜렷이 뛰어나다.
• 알레 효과가 포함된 모형을 포함한 일반적인 생태학적 모형의 가능도 표면은 매우 다중모달적이며 강한 고도를 보이며, 노이즈 하에서 모형 선택이 특히 어렵게 만든다.
• 관측 노이즈는 특히 알레 효과가 있는 모형 간의 구별 능력을 크게 감소시키며, 베이즈 인자 분석을 통해 이를 확인할 수 있다.
• 기존의 변환된 매개변수(예: bi)를 사용하는 매개변수화 방식은 생태학적 매개변수 r과 K 간에 강한 사전 분포 의존성을 유도하지만, AdPMCMC를 통한 직접 추정을 통해 이를 피할 수 있다.
• 반복적인 베이지안 크래머-라오 하한은 성공적으로 추정되었으며, 비선형 SSM에서 추정 효율성을 평가하는 데 도움이 되는 유용한 기준이 되었다.
• b3 > 0 또는 sgn(b3) = sgn(b0)와 같은 제약 조건은 과정 오차와 관측 오차가 동시에 존재할 경우 비현실적이거나 지나치게 제한적인 것으로 밝혀져, 데이터 기반의 제약 조건 평가가 바람직하다.