[논문 리뷰] Efficient approximate Bayesian inference for models with intractable likelihoods

Johan Dahlin, Mattias Villani외 1명|arXiv (Cornell University)|2015. 06. 23.

Gaussian Processes and Bayesian Inference참고 문헌 46인용 수 5

한 줄 요약

이 논문은 비선형 상태공간 모델에서 추정이 불가능한 사후분포를 효율적으로 근사하기 위해 가우시안 프로세스 최적화와 순차적 몬테카를로 근사 베이지안 계산을 조합한 새로운 방법인 GPO-ABC를 제안한다. 이 방법은 입자 MCMC와 유사한 정확도를 달성하면서도 계산 비용을 크게 감소시키고, 노이즈가 있는 우도 추정에 대해 더 뛰어난 내성성을 보이며, 확률적 변동성 모델과 코풀라 기반 Value-at-Risk 모델에서 검증되었다.

ABSTRACT

We consider the problem of approximate Bayesian parameter inference in nonlinear state space models with intractable likelihoods. Sequential Monte Carlo with approximate Bayesian computations (SMC-ABC) is an approach to approximate the likelihood in this type of models. However, such approximations can be noisy and computationally costly which hinders efficient implementations using standard methods based on optimisation and statistical simulation. We propose a novel method based on the combination of Gaussian process optimisation (GPO) and SMC-ABC to create a Laplace approximation of the intractable posterior. The properties of the resulting GPO-ABC method are studied using stochastic volatility (SV) models with both synthetic and real-world data. We conclude that the algorithm enjoys: good accuracy comparable to particle Markov chain Monte Carlo with a significant reduction in computational cost and better robustness to noise in the estimates compared with a gradient-based optimisation algorithm. Finally, we make use of GPO-ABC to estimate the Value-at-Risk for a portfolio using a copula model with SV models for the margins.

연구 동기 및 목표

• 추정이 불가능한 우도를 가진 비선형 상태공간 모델에서 효율적이지 않고 노이즈가 많은 근사 베이지안 추론 문제를 해결하기 위해.
• 기본 최적화를 가우시안 프로세스 기반 최적화로 대체하여 SMC-ABC의 계산 비용을 감소시키기 위해.
• 우도 추정의 노이즈에 대한 민감도를 줄이고 사후분포 근사의 내성성을 향상시키기 위해.
• 예를 들어 확률적 변동성 마진을 가진 코풀라 기반 포트폴리오와 같은 복잡한 금융 모델에 대해 정확한 추론을 가능하게 하기 위해.
• 유사한 정확도를 보이지만 계산 부담이 더 낮은 입자 MCMC의 확장 가능한 대안을 제공하기 위해.

제안 방법

• 가우시안 프로세스 최적화(GPO)와 순차적 몬테카를로 근사 베이지안 계산(SMC-ABC)을 통합하여 추정이 불가능한 사후분포의 라플라스 근사를 구성한다.
• GPO는 ABC 불일치 함수의 가우시안 프로세스 대체모형을 반복적으로 샘플링하고 업데이트하여 사후분포의 최대값을 효율적으로 탐색한다.
• SMC-ABC 프레임워크는 순차적인 입자 근사를 통해 우도를 생성하며, 이를 가우시안 프로세스 대체모형을 학습하는 데 사용한다.
• GPO로 추정한 최대값 중심에 라플라스 근사를 구성함으로써 불확실성 정량화를 고려한 빠른 사후분포 추론이 가능해진다.
• GPO의 전역 탐색 능력을 활용하여 국소 최적값을 피하고, 노이즈가 있는 우도 추정에 대한 민감도를 감소시킨다.
• 이 방법은 확률적 변동성 모델과 Value-at-Risk 추정을 위한 SV 마진을 가진 코풀라 모델에 적용되었다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 최적화는 추정이 불가능한 우도를 가진 모델에 대해 SMC-ABC의 효율성과 내성성을 향상시킬 수 있는가?
• RQ2 상태공간 모델에서 GPO-ABC는 입자 MCMC와 기울기 기반 최적화 방법에 비해 정확도와 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 기본 최적화 방법에 비해 GPO-ABC는 ABC 우도 추정의 노이즈에 대해 얼마나 더 낮은 민감도를 보이는가?
• RQ4 GPO-ABC는 확률적 변동성 마진을 가진 코풀라 기반 포트폴리오와 같은 복잡한 금융 리스크 모델에 대해 실용적인 베이지안 추론을 가능하게 할 수 있는가?
• RQ5 실제 데이터 응용에서 GPO-ABC의 성능은 시뮬레이션 기반 벤치마크와 비교해 어떻게 나타나는가?

주요 결과

• GPO-ABC는 계산 비용을 크게 감소시키면서도 입자 MCMC와 유사한 사후분포 정확도를 달성한다.
• 기울기 기반 최적화 알고리즘보다 노이즈가 있는 우도 추정에 대해 더 뛰어난 내성성을 보였다.
• GPO-ABC 기반의 라플라스 근사는 시뮬레이션 및 실제 확률적 변동성 모델 모두에서 신뢰할 수 있고 효율적인 사후분포 근사로 기능한다.
• GPO-ABC는 SV 마진을 가진 코풀라 모델에서 Value-at-Risk 추정을 성공적으로 수행하여 실제 금융 리스크 문제에의 적용 가능성을 입증했다.
• GPO를 SMC-ABC에 통합함으로써 표준 최적화 접근법에 비해 수렴 속도가 빨라지고 튜닝 파rameter 의존도가 감소했다.
• 실험 결과는 GPO-ABC가 ABC 우도 추정이 노이즈가 있어도 높은 정확도를 유지하며, 안정성 측면에서 기울기 기반 대안을 능가함을 확인했다.