[논문 리뷰] Non-asymptotic confidence intervals for MCMC in practice

Benjamin M. Gyori, Daniel Paulin|arXiv (Cornell University)|2012. 12. 10.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 6

한 줄 요약

이 논문은 농도 불등식을 사용하여 마르코프 체인 몬테카를로(MCMC) 추정기의 실용적이고 비점근적인 신뢰구간을 제안한다. 스펙트럼 갭, 혼합 시간, 점근적 분산의 추정기들은 데이터로부터 유도된다. 이들의 경계가 특히 임상 시험과 같은 민감한 응용 분야에서 지표 함수에 대해 정규 근사보다 더 신뢰할 수 있음을 입증한다. 정규 근사는 종종 오차를 과소평가한다.

ABSTRACT

Using concentration inequalities, we give non-asymptotic confidence intervals for estimates obtained by Markov chain Monte Carlo (MCMC) simulations, when using the approximation $\mathbb{E}_π f\approx (1/(N-t_0))\cdot \sum_{i=t_0+1}^N f(X_i)$. To allow the application of non-asymptotic error bounds in practice, here we state bounds formulated in terms of the spectral properties of the chain and the properties of $f$ and propose estimators of the parameters appearing in the bounds, including the spectral gap, mixing time, and asymptotic variance. We introduce a method for setting the burn-in time and the initial distribution that is theoretically well-founded and yet is relatively simple to apply. We also investigate the estimation of $\mathbb{E}_πf$ via subsampling and by using parallel runs instead of a single run. Our results are applicable to both reversible and non-reversible Markov chains on discrete as well as general state spaces. We illustrate our methods by simulations for three examples of Bayesian inference in the context of risk models and clinical trials.

연구 동기 및 목표

• 베이지안 추론에서 MCMC 추정기의 실용적이고 유한 표본 오차 경계의 부족을 해결한다.
• 유한 표본에서 오차를 심각하게 과소평가할 수 있는 점근적 정규 근사에 대한 한계를 극복한다. 특히 지표 함수에 대해 그렇다.
• 농도 불등식의 핵심 매개변수인 스펙트럼 갭, 혼합 시간, 점근적 분산에 대한 데이터 기반 추정기를 개발하여 실질적 응용을 가능하게 한다.
• 연역적으로 타당하지만 구현 가능한 방법을 통해 MCMC의 버닝 타임과 초기 분포 설정을 제공한다.
• 서브샘플링과 병렬 MCMC 체인의 오차 경계와 계산 효율성에 미치는 영향을 평가한다.

제안 방법

• 역행성 및 비역행성 마르코프 체인에 대해 체비셰프 및 베르누이 타입의 농도 불등식을 사용하여 비점근적 신뢰구간을 수립한다.
• 스펙트럼 갭, 혼합 시간, 함수 f의 분산에 의존하는 경계를 유도하며, 체인의 정적성 및 함수 성질에 명시적인 의존성을 포함한다.
• 실험적 스펙트럼 분석과 커플링 기법을 사용하여 스펙트럼 갭과 혼합 시간의 추정기를 제안하고 이론적 정당성을 검증한다.
• MCMC 출력 기반으로 점근적 분산과 f의 분산에 대한 추정기를 도입하며, 추정 오차에 대한 농도 경계를 제공한다.
• 편차 감소와 오차 경계의 타이트함 향상을 위해 서브샘플링(얇추기)과 병렬 MCMC 체인을 적용한다.
• 전체 변화 거리 경계로부터 유도된 버닝 타임 $ t_0 $ 를 사용하여, 경험 평균의 편향이 무시할 만큼 작다는 것을 보장한다.

실험 결과

연구 질문

• RQ1 알 수 없는 매개변수를 포함한 경계에서 비점근적 농도 불등식을 MCMC에 실용적으로 적용할 수 있는가?
• RQ2 제안된 스펙트럼 갭, 혼합 시간, 점근적 분산의 추정기가 유한 표본 설정에서 어떻게 성능을 발휘하는가?
• RQ3 어떤 상황에서 비점근적 경계가 점근적 정규 근사보다 뛰어나며, 특히 지표 함수에 대해 어떤가?
• RQ4 서브샘플링 또는 병렬 MCMC 실행이 오차 경계의 신뢰성과 타이트함에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 이론적으로 타당하면서도 실용적으로 버닝 타임과 초기 분포 선택을 안내할 수 있는가?

주요 결과

• 베이지안 리스크 모델의 지표 함수에 대해 정규 근사는 오차를 상당히 과소평가하지만, 비점근적 경계(체비셰프 및 베르누이)는 보수적이면서도 신뢰할 수 있다.
• 스펙트럼 갭 추정치는 $ \tilde{\nu} = 0.000000000000000000021 $ 으로 계산되어 극도로 느린 혼합을 나타내었으며, 이를 바탕으로 $ t_0 = 20000 $ 으로 설정하여 편향이 무시할 만큼 작아졌다($ E(t_0) \to 2.10 \times 10^{-20} $).
• 임상 시험 예시에서 가짜 스펙트럼 갭은 $ \hat{\gamma}_{\mathrm{ps}} = 0.817 $ 으로 추정되었고, 이론적 경계에 기반해 $ t_0 = 600 $ 이 선택되어 정적분포로의 수렴을 보장하였다.
• 체비셰프 및 베르누이 경계는 일관되게 보수적이었고, 정규 근사는 리스크 모델 및 임상 시험 시뮬레이션에서 꼬리 확률을 과소평가하였다.
• 길이 $ 10^4 $ 인 병렬 체인 $ m = 5000 $ 회 실행으로 얻은 경험 평균의 로그 꼬리가 비점근적 경계에 의해 잘 추정되었으며, 이는 강건성을 확인한다.
• 이 방법은 스펙트럼 갭 추정을 통해 MCMC 알고리즘의 실용적 튜닝을 가능하게 하여, 실제 응용에서 혼합을 개선하고 버닝 타임 요구를 줄였다.