[논문 리뷰] Importance Sampling Squared for Bayesian Inference in Latent Variable Models

Marcel Scharth, M. Pitt외 1명|arXiv (Cornell University)|2014. 01. 01.

Statistical Methods and Inference참고 문헌 33인용 수 12

한 줄 요약

이 논문은 이중 중요도 샘플링(Importance Sampling Squared, IS²)을 제안하며, 이는 이중 중요도 샘플링을 통해 추정된 가능도를 이용하여 추론 가능한 잠재변수 모델에서 베이지안 추론을 수행하는 방법이다. 이는 이론적 수렴성을 확립하고, 가능도 추정 정밀도와 사후 정확도 사이의 균형을 통해 계산 효율성을 최적화하며, 다항 로짓 모델과 확률적 변동성 모델에서 효과를 입증한다.

ABSTRACT

We consider Bayesian inference by importance sampling when the likelihood is analytically intractable but can be unbiasedly estimated. We refer to this procedure as importance sampling squared (IS 2 ), as we can often estimate the likelihood itself by importance sampling. We provide a formal justication for importance sampling when working with an estimate of the likelihood and study its convergence properties. We analyze the eect of estimating the likelihood on the resulting inference and provide guidelines on how to set up the precision of the likelihood estimate in order to obtain an optimal tradeo between computational cost and accuracy for posterior inference on the model parameters. We illustrate the procedure in empirical applications for a generalized multinomial logit model and a stochastic volatility model. The results show that the IS 2 method can lead

연구 동기 및 목표

• 가능도가 해석적으로 추정이 불가능하지만, 비편향 몬테카를로 방법으로 추정 가능한 잠재변수 모델에서의 베이지안 추론 문제를 해결하기 위해.
• 가능도 자체가 추정될 때 중요도 샘플링을 공식화하여 타당한 추론을 보장하기 위해.
• 가능도 추정이 수반된 IS² 절차의 수렴 성질을 확립하기 위해.
• 가능도 추정 정밀도와 계산 비용 사이의 균형을 이루기 위한 실용적 지침을 제공하기 위해.
• 일반화된 다항 로짓 모델과 확률적 변동성 모델에서의 실증 응용을 통해 방법의 효과성을 입증하기 위해.

제안 방법

• 후행 추론에 추정된 가능도를 사용하는 중요도 샘플링을 사용하는 이중 중요도 샘플링(IS²)을 제안한다.
• 이중 중요도 샘플링 절차를 통해 추정된 가능도를 다루며, 이를 주 샘플링 단계에서 랜덤 변수로 간주한다.
• IS² 추정자가 진정한 사후분포로 수렴하고 일致성 유지 조건을 이론적으로 도출한다.
• 가능도 추정에 사용되는 샘플 수를 최적화하여 분산과 계산 비용의 균형을 이루는 프레임워크를 제안한다.
• 효율성을 향상시키기 위해 이중 가능도 추정에서 제어 변수나 분산 감소 기법을 활용한다.
• 이중 샘플링 구조를 사용한다: 외부 루프는 사후 근사, 내부 루프는 가능도 추정

실험 결과

연구 질문

• RQ1 가능도 함수가 추정이 불가능하지만 비편향 몬테카를로 방법으로 추정 가능한 경우, 어떻게 베이지안 추론을 수행할 수 있는가?
• RQ2 가능도 자체가 추정될 때 중요도 샘플링의 이론적 수렴 성질은 어떠한가?
• RQ3 가능도 추정의 정밀도는 사후 추론의 정확도와 계산 비용에 어떤 영향을 미치는가?
• RQ4 가능도를 추정하는 데 사용되는 샘플 수와 전체 계산 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 IS²는 일반화된 다항 로짓 모델과 확률적 변동성 모델과 같은 복잡한 잠재변수 모델에 효과적으로 적용될 수 있는가?

주요 결과

• 가능도가 유한한 샘플로 추정되더라도, 약한 정규성 조건 하에서 IS² 방법은 일致한 사후 추론을 달성한다.
• 이 방법은 추정된 가능도를 중요도 샘플링에 사용하는 데 이론적 기반을 제공하며, 渐近적 타당성을 보장한다.
• 가능도 추정과 사후 샘플링 간의 계산 자원 할당을 최적화하면 정확도를 희생시키지 않고 효율성을 향상시킬 수 있다.
• 실증 결과에 따르면, IS²는 일반화된 다항 로짓 모델과 확률적 변동성 모델 모두에서 정확한 사후 추정치를 도출한다.
• 정확한 가능도 방법에 비해 계산 부담을 감소시키면서도 신뢰할 수 있는 추론 품질을 유지한다.