[논문 리뷰] On the existence of moments for high dimensional importance sampling

M. Pitt, Minh‐Ngoc Tran외 2명|arXiv (Cornell University)|2013. 07. 30.

Statistical Methods and Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 고차원 중요도 샘플링에서 가우시안 제안 분포를 사용할 때 모멘트 존재 조건을 수립하며, 특히 신뢰할 수 있는 추정에 필수적인 두 번째 모멘트에 초점을 맞춘다. 유한 분산을 보장하는 강건한 이원성 혼합 제안 분포를 제안하여 일반선형혼합모형과 상태공간모형과 같은 모델에서 MCMC 효율성을 크게 향상시켰으며, 경험적 결과로는 샘플링 효율이 최대 1.5배 향상됨을 보였다.

ABSTRACT

Theoretical results for importance sampling rely on the existence of certain moments of the importance weights, which are the ratios between the proposal and target densities. In particular, a finite variance ensures square root convergence and asymptotic normality of the importance sampling estimate, and can be important for the reliability of the method in practice. We derive conditions for the existence of any required moments of the weights for Gaussian proposals and show that these conditions are almost necessary and sufficient for a wide range of models with latent Gaussian components. Important examples are time series and panel data models with measurement densities which belong to the exponential family. We introduce practical and simple methods for checking and imposing the conditions for the existence of the desired moments. We develop a two component mixture proposal that allows us to flexibly adapt a given proposal density into a robust importance density. These methods are illustrated on a wide range of models including generalized linear mixed models, non-Gaussian nonlinear state space models and panel data models with autoregressive random effects.

연구 동기 및 목표

• 고차원 설정에서 중요도 가중치의 모멘트—특히 두 번째 모멘트—의 존재 조건을 이론적으로 수립하기 위해.
• 잠재 가우시안 성분을 포함한 모델에서 중요도 가중치의 유한 분산을 확인하고 강제할 수 있는 실용적이고 계산적으로 구현 가능한 방법을 개발하기 위해.
• 모멘트 조건을 충족시키면서도 샘플링 효율성을 유지하는 유연하고 강건한 혼합 제안 분포를 설계하기 위해.
• 이해할 수 없는 우도를 가진 모델에서 시뮬레이션 최대우도 및 베이지안 MCMC 추론의 신뢰성과 효율성을 향상시키기 위해.
• 비선형이고 비가우시안인 상태공간모형과 랜덤 효과가 있는 패널 데이터에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 가우시안 제안 분포 하에서 중요도 가중치의 임의의 모멘트 존재 조건을 유도하며, 이는 로그우도의 곡률과 꼬리 행동에 기반한다.
• 이원성 혼합 제안 분포를 도입: 모멘트 조건을 충족하는 수정된 가우시안 밀도와 일반적인 제안 밀도의 조합.
• 다변량 정규 prior의 정밀도 행렬을 재매aram터화하기 위해 변환을 사용하여 효율적인 MCMC 샘플링을 가능하게 한다.
• 상태공간모형에서 중요도 샘플링의 기준으로 셰파드와 피트(1997) 알고리즘을 적용한 후, 유한 분산을 보장하기 위해 수정한다.
• 후행 분포 샘플링을 위해 적응형 랜덤 워크 메트로폴리스-하스팅스를 사용하며, 우도는 모멘트 제어된 제안 분포를 사용한 중요도 샘플링으로 추정한다.
• MCMC 효율성을 평가하기 위해 통합 자기상관시간(IACT)과 수용률과 같은 진단 지표를 사용한다.

실험 결과

연구 질문

• RQ1 고차원 잠재변수 모델에서 가우시안 제안 분포를 사용할 때 중요도 가중치의 두 번째 모멘트가 존재하는 조건은 무엇인가?
• RQ2 복잡한 모델에서 중요도 가중치의 유한 모멘트 존재 여부를 실용적으로 검증하거나 강제할 수 있는 방법은 무엇인가?
• RQ3 수정된 가우시안과 다른 제안 밀도의 혼합이 유한 분산을 보장하면서도 샘플링 효율성을 유지할 수 있는가?
• RQ4 모멘트 조건을 강제함으로써 잠재 가우시안 모델의 베이지안 추론에서 MCMC 수렴성과 효율성에 어떤 영향을 미치는가?
• RQ5 표준 중요도 샘플링에 비해 제안된 방법은 강건성과 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 혼합 중요도 샘플링 방법은 중요도 가중치의 유한한 두 번째 모멘트를 보장하여 渐近 정규성과 신뢰할 수 있는 추론에 필수적이다.
• 자기회귀 랜덤 효과가 있는 포isson 패널 데이터 모형에서, 유한 분산 조건을 적용함으로써 IACT는 29.2에서 19.6으로 감소하여 MCMC 효율성이 약 1.5배 향상됨을 확인함.
• 모멘트 조건을 적용함에 따라 수용률은 18.8%에서 22.3%로 증가하여 MCMC 샘플러의 혼합 성능 향상이 확인됨.
• 기존에 무거운 꼬리 가중치로 인해 실패하는 셰파드와 피트(1997) 알고리즘에서의 무한 분산 문제를 성공적으로 해결함.
• MCMC 반복당 계산 비용은 약간 증가(0.058초에서 0.079초로), 그러나 효율성 향상로 인한 이득이 비용 증가를 상쇄함.
• 이 방법은 일반선형혼합모형과 비선형 상태공간모형을 포함한 잠재 가우시안 성분을 가진 모델에 널리 적용 가능함.