[논문 리뷰] Estimating standard errors for importance sampling estimators with multiple Markov chains

Vivekananda Roy, Aixin Tan외 1명|arXiv (Cornell University)|2015. 09. 21.

Statistical Methods and Inference참고 문헌 39인용 수 5

한 줄 요약

이 논문은 다중 마르코프 체인을 사용하여 일반화된 중요도 샘플링 추정량의 渐近적으로 타당한 표준 오차를 추정하기 위한 배치 평균 방법을 제안한다. 다항 혼합성과 유한한 모멘트 조건 하에서, 중심극한정리가 성립하며 베이지안 및 실증 베이지안 설정에서 신뢰할 수 있는 추론이 가능하다. 이는 고차원 변수 선택 및 베이즈 요인 추정을 포함한다.

ABSTRACT

The naive importance sampling estimator, based on samples from a single importance density, can be numerically unstable. Instead, we consider generalized importance sampling estimators where samples from more than one probability distribution are combined. We study this problem in the Markov chain Monte Carlo context, where independent samples are replaced with Markov chain samples. If the chains converge to their respective target distributions at a polynomial rate, then under two finite moment conditions, we show a central limit theorem holds for the generalized estimators. Further, we develop an easy to implement method to calculate valid asymptotic standard errors based on batch means. We also provide a batch means estimator for calculating asymptotically valid standard errors of Geyer(1994) reverse logistic estimator. We illustrate the method using a Bayesian variable selection procedure in linear regression. In particular, the generalized importance sampling estimator is used to perform empirical Bayes variable selection and the batch means estimator is used to obtain standard errors in a high-dimensional setting where current methods are not applicable.

연구 동기 및 목표

• 단일 제안 밀도가 대상 분포를 잘 근사하지 못할 경우 중요도 샘플링에서 발생하는 수치적 불안정성을 해결하기 위해.
• 일반화된 중요도 샘플링에 대해 표준 오차 추정을 독립적 동일분포 표본이 아닌 다중 마르코프 체인으로 확장하기 위해.
• 고차원 및 복잡한 모델에서 渐近적으로 타당한 표준 오차 추정을 위한 실용적이고 실행 가능한 방법을 제공하기 위해.
• 배치 평균을 활용하여 베이지안 공간 모델링 및 실증 베이지안 변수 선택에서 신뢰할 수 있는 추론을 지원하기 위해.

제안 방법

• 다양한 제안 밀도에서 유래한 표본을 중요도 비율에 따라 가중하는 일반화된 중요도 샘플링 추정량을 사용한다.
• 다항 혼합성 하에서 추정량의 점근적 정규성을 활용하여 표준 오차를 추정하기 위해 배치 평균 절차를 적용한다.
• 두 개의 유한 모멘트 조건과 다항 혼합 속도 하에서 일반화된 추정량에 대한 중심극한정리를 도출한다.
• 정규화 상수의 비율을 추정하기 위해 Geyer의 역로지스틱 추정량에 대해 배치 평균 방법을 적응시킨다.
• 알려진 가중치와 정규화 상수 비율을 가진 제안 밀도의 혼합을 사용하여 추정을 안정화시킨다.
• 시뮬레이션 연구와 실제 데이터 응용(베이지안 공간 모델링 및 고차원 변수 선택 포함)을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 다중 마르코프 체인 기반 일반화된 중요도 샘플링 추정량의 표준 오차를 신뢰성 있게 추정할 수 있는가?
• RQ2 MCMC 설정에서 이러한 추정량에 대해 중심극한정리가 성립하는 조건은 무엇인가?
• RQ3 어떻게 하면 복잡한 추정량(예: Geyer의 역로지스틱 추정량)에 대해 점근적으로 타당한 표준 오차를 제공하는 데 배치 평균을 적응시킬 수 있는가?
• RQ4 이 방법은 고차원 베이지안 모델(예: 실증 베이지안 변수 선택)에서 정확한 추론을 지원할 수 있는가?
• RQ5 정규화 상수가 알려진 경우, 이 방법의 표준 오차 추정 성능은 기존 방법 대비 안정성과 정확성 측면에서 어떻게 비교되는가?

주요 결과

• 다항 혼합성과 두 개의 유한 모멘트 조건 하에서 일반화된 중요도 샘플링 추정량에 대해 중심극한정리가 성립한다.
• 제안된 배치 평균 방법은 일반화된 IS 추정량과 Geyer의 역로지스틱 추정량 양쪽 모두에 대해 점근적으로 타당한 표준 오차를 제공한다.
• 이진 데이터에 대한 베이지안 공간 모델링에서, 이 방법은 상대 표준오차가 5% 이하인 베이즈 요인을 정확하게 추정하는 데 성공했다.
• 실증 베이지안 변수 선택의 경우, 기존 방법이 실패하는 고차원 설정에서도 배치 평균 추정량이 표준 오차를 성공적으로 계산했다.
• 정규화 상수가 알려진 경우, 표준 인구 몬테카를로 방법보다 분산 감소 측면에서 이 방법이 뛰어났다.
• 실증 베이지안 선택 $$h_{\text{EB}} = (0.075, e^{-5})$$ 는 베이즈 요인 9.75를 도출하였으며, 예측 MSE는 0.411이었고, 일반적으로 사용되는 선택 $$h_0 = (0.5, e^0)$$ 와 비교해도 유사한 0.431 수준이었다.