[논문 리뷰] Approximate Bayesian Computation in State Space Models

Gael M. Martin, Brendan McCabe외 2명|arXiv (Cornell University)|2014. 09. 30.

Markov Chains and Monte Carlo Methods참고 문헌 59인용 수 12

한 줄 요약

이 논문은 상태공간 모델에 대해 보조 모델 기반 요약 통계량을 사용하는 근사 베이지안 계산(ABC) 방법을 제안한다. 특히 최대우도추정량(MLE)과 보조 모델의 스코어를 활용하여 渐近 충분성(asymptotic sufficiency)을 달성한다. 주요 기여는 스코어 기반 ABC를 통한 이상적인 이론적 베이지안 일致성과 계산 효율성으로, MLE 기반 ABC와 동등한 정확도를 확보하면서도 각 ABC 반복에서 비용이 많이 드는 최적화를 피한다. 이는 스코어 기반 ABC가 확률적 변동성 모델에서 유닉스 켈먼 필터링(unscented Kalman filtering)을 통해 검증되었다.

ABSTRACT

A new approach to inference in state space models is proposed, based on approximate Bayesian computation (ABC). ABC avoids evaluation of the likelihood function by matching observed summary statistics with statistics computed from data simulated from the true process; exact inference being feasible only if the statistics are sufficient. With finite sample sufficiency unattainable in the state space setting, we seek asymptotic sufficiency via the maximum likelihood estimator (MLE) of the parameters of an auxiliary model. We prove that this auxiliary model-based approach achieves Bayesian consistency, and that - in a precise limiting sense - the proximity to (asymptotic) sufficiency yielded by the MLE is replicated by the score. In multiple parameter settings a separate treatment of scalar parameters, based on integrated likelihood techniques, is advocated as a way of avoiding the curse of dimensionality. Some attention is given to a structure in which the state variable is driven by a continuous time process, with exact inference typically infeasible in this case as a result of intractable transitions. The ABC method is demonstrated using the unscented Kalman filter as a fast and simple way of producing an approximation in this setting, with a stochastic volatility model for financial returns used for illustration.

연구 동기 및 목표

• 정확한 베이지안 추론이 불가능한 비선형이고 연속시간 상태공간 모델에서 우도 계산이 불가능한 문제에 대응한다.
• 상태공간 모델에서 유한 표본 시의 충분통계량 부족 문제를 보완하기 위해 보조 모델을 통한 渐近 충분성(asymptotic sufficiency)을 추구한다.
• 각 ABC 반복에서 최적화를 피하기 위해 MLE 대신 보조 모델의 스코어를 사용함으로써 계산 효율성이 높은 ABC 접근법을 개발한다.
• 차원의 저주를 완화하기 위해 마진화 기법을 활용하여 고차원 모수 설정에서 스코어 기반 ABC의 효과성을 입증한다.
• 일반 조건 하에서 MLE 기반과 스코어 기반 ABC 간의 이론적 일致성과 동등성을 확립하여 안정적인 사후 근사 보장

제안 방법

• 보조 모델을 사용해 ABC용 요약 통계량을 생성하며, 보조 모델의 모수에 대한 MLE가 주요 요약 통계량이 되어 渐近 충분성(asympotic sufficiency)을 달성한다.
• MLE 기반 매칭을 스코어 기반 매칭으로 대체함—관측 데이터에서의 보조 모델 MLE에서의 스코어를 평가함으로써, 계산 비용을 크게 줄이면서도 동등한 渐近 정확도(asympotic accuracy)를 달성한다.
• 진짜 우도가 계산이 불가능한 연속시간 상태공간 모델에서 보조 모델의 우도를 근사하기 위해 유닉스 켈먼 필터(UKF)를 적용한다.
• 이중 단계 ABC 절차를 구현함: 첫 번째로 넓은 사전분포를 사용해 고사후밀도 영역을 식별하고, 두 번째로 사전분포를 잘라내고 재실행하여 정확도를 향상시킨다.
• 고차원 모수 공간을 다루기 위해 통합 우도 원리를 활용하며, 모수를 블록으로 나누고 마진형 추론을 수행함으로써 차원 관련 정확도 저하를 감소시킨다.
• 표준 준최대우도추정량(quasi-MLE) 정규 조건 하에서 ABC 방법의 이론적 일관성을 확립함으로써, 허용오차가 0에 수렴할수록 진짜 사후분포로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 보조 모델 기반 ABC는 표본 수가 유한한 상태공간 모델에서 충분통계량 부족 문제에도 불구하고 베이지안 일관성을 달성할 수 있는가?
• RQ2 보조 모델의 스코어는 ABC 매칭에서 MLE와 渐近 동등성(asymptotic equivalence)을 가지는가? 이 동등성은 정확히 식별된 모델과 과잉식별된 모델 모두에서 성립하는가?
• RQ3 정확도를 손상시키지 않고 스코어 기반 ABC는 MLE 기반 ABC에 비해 계산 비용을 크게 줄일 수 있는가?
• RQ4 고차원 모수 설정에서 제안된 방법은 얼마나 효과적인가? 통합 우도를 통한 마진화 기법이 정확도를 향상시키는가?
• RQ5 확률적 변동성 모델에서 스코어 기반 ABC는 타 ABC 방법 및 우도 근사법(예: 오일러, AUKF)과 비교해 성능가능성이 있는가?

주요 결과

• 보조 모델 기반 ABC 방법은 준최대우도추정량(quasi-MLE)의 표준 정규 조건 하에서 이론적으로 베이지안 일관성을 확보한다.
• 보조 모델의 스코어는 양의 정부호 가중행렬의 선택에 관계없이 ABC 매칭에서 MLE와 渐近 동등성을 달성하며, 이는 상당한 계산 절감 효과를 가능하게 한다.
• 단일 모수 확률적 변동성 모델에서 ABC-Marginal Score 방법은 ρ에 대해 RMSE 0.0028을 기록하여 AUKF(0.0263)와 오일러(0.0096) 기준선을 능가했다.
• 두 모수 사례(ρ 및 σv)에서 연립 스코어 기반 ABC는 모든 방법 중 가장 낮은 RMSE(0.0054)를 기록했으며, AUKF(0.0529)와 오일러(0.0072)에 비해 뚜렷이 떨어졌다.
• 세 모수 사례에서 연립 스코어 기반 ABC는 σv에 대해 가장 낮은 RMSE(0.0166)를 기록했으며, AUKF(0.0287)와 오일러(0.0242)에 비해 뛰어난 성능을 보였다.
• 마진화 접근법은 두 모수 사례에서 ρ의 정확도를 향상시켜 RMSE를 연립 시의 0.0054에서 마진화 시의 0.0045로 감소시켰으며, 다른 모수에서는 최소한의 정확도 저하를 보였다.