[논문 리뷰] Estimating accuracy of the MCMC variance estimator: a central limit theorem for batch means estimators

Saptarshi Chakraborty, Suman K. Bhattacharya외 1명|arXiv (Cornell University)|2019. 11. 03.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 4

한 줄 요약

이 논문은 표준 정규 조건 하에서 MCMC 분산의 배치 평균 추정량에 대한 중심극한정리(CLT)를 수립하여, 추정량에 대한 점차 타당한 신뢰구간을 가능하게 한다. 이 결과는 고전적인 i.i.d. 표본 분산에 대한 CLT와 유사하게 MCMC 분산 추정의 정확도 평가를 위한 이론적 기반을 제공하며, 시뮬레이션과 실제 베이지안 라소 응용 사례를 통해 검증된다.

ABSTRACT

The batch means estimator of the MCMC variance is a simple and effective measure of accuracy for MCMC based ergodic averages. Under various regularity conditions, the estimator has been shown to be consistent for the true variance. However, the estimator can be unstable in practice as it depends directly on the raw MCMC output. A measure of accuracy of the batch means estimator itself, ideally in the form of a confidence interval, is therefore desirable. The asymptotic variance of the batch means estimator is known; however, without any knowledge of asymptotic distribution, asymptotic variances are in general insufficient to describe variability. In this article we prove a central limit theorem for the batch means estimator that allows for the construction of asymptotically accurate confidence intervals for the batch means estimator. Additionally, our results provide a Markov chain analogue of the classical CLT for the sample variance parameter for i.i.d. observations. Our result assumes standard regularity conditions similar to the ones assumed in the literature for proving consistency. Simulated and real data examples are included as illustrations and applications of the CLT.

연구 동기 및 목표

• MCMC 분산의 배치 평균 추정량에 대한 공식적인 정확도 측정 방법의 부족을 해결함으로써 신뢰할 수 있는 추론을 위해 필수적인 요건을 충족시키기 위해.
• 배치 평균 분산 추정량에 대한 점차 타당한 신뢰구간을 구성할 수 있도록 이론적 프레임워크를 개발하기 위해.
• 고전적인 i.i.d. 표본 분산에 대한 CLT를 마코프 체인 설정으로 확장하여, 분산 추정에 대한 마코프 체인 유사 정리 제공하기 위해.
• 모의 및 실제 MCMC 예제를 통해 배치 평균 추정량의 점차 정규성을 검증하기 위해.

제안 방법

• 표준 에르고딕성 및 모멘트 조건 하에서 MCMC 분산의 배치 평균 추정량에 대한 중심극한정리를 유도함.
• 마코프 체인 출력을 겹치지 않는 배치들로 나누어, MCMC 에르고딕 평균의 점차 분산을 추정하기 위해 배치 평균 방법을 사용함.
• 배치 평균 분산 추정량에 CLT를 적용하여 점차 정규성과 신뢰구간 구성의 타당성을 정당화함.
• 다양한 배치 크기와 반복 횟수에서 배치 평균 추정량의 표본분포를 평가하기 위해 5,000개의 독립적인 MCMC 복제를 포함한 시뮬레이션 연구를 수행함.
• 두 블록 기반 깁스 샘플러를 사용한 베이지안 라소 모델을 분석하여, 로그우도 값에 대해 배치 평균 추정량을 계산하고 그 점차 정규성의 타당성을 평가함.
• 배치 평균 추정량을 그들의 경험적 평균과 추정된 표준오차로 표준화하여, 표준 정규분포로의 수렴 여부를 시험함.

실험 결과

연구 질문

• RQ1 표준 정규 조건 하에서 MCMC 분산의 배치 평균 추정량에 중심극한정리를 수립할 수 있는가?
• RQ2 MCMC 분산의 배치 평균 추정량이 점차 정규성을 보이며, 이로 인해 신뢰구간 구성이 가능한가?
• RQ3 모의 및 실제 MCMC 데이터에서 유한 표본에서의 점차 정규 근사가 얼마나 잘 유지되는가?
• RQ4 실제 MCMC 응용에서 배치 평균 추정량의 표본분포가 정규분포에 잘 근사되는가?

주요 결과

• 표준 정규 조건 하에서 MCMC 분산의 배치 평균 추정량은 점차 정규성을 보이며, 이는 신뢰구간 구성이 가능하게 한다.
• n = 100,000일 때, b_n = \sqrt{n}에 대해 평균 배치 평균 추정치는 304.351, b_n = n^{0.4}에 대해 302.385, b_n = n^{1/3 + 10^{-5}}에 대해 299.091였으며, 이는 안정적인 추정을 나타낸다.
• 약간 표준화된 배치 평균 추정량의 표본분포는 표준 정규밀도와 매우 유사하게 나타나, 점차 정규성 결과의 타당성을 확인한다.
• b_n = \sqrt{n}, n^{0.4}, n^{1/3 + 10^{-5}} 등 다양한 배치 크기 선택에 대해 배치 평균 추정량의 점차 정규성이 유지되며, 이는 강건성을 보여준다.
• 배치 평균 추정량에 대한 이론적 CLT는 고전적인 i.i.d. 표본 분산에 대한 CLT의 마코프 체인 유사 정리로서, 의존적인 MCMC 출력으로의 적용 범위를 확장한다.