[논문 리뷰] Resampling from the past to improve on MCMC algorithms

Yves F. Atchadé|ArXiv.org|2006. 05. 16.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 6

한 줄 요약

이 논문은 이전 상태에서 재표본 추출하는 기법을 도입하여 MCMC 알고리즘의 수렴 속도를 가속화한다. 이 방법은 목표 분포를 유지하면서도 베이지안 스토케스틱 볼라티리티 및 계통수 모델에서 각각 최대 50배와 100배의 효율성 향상을 달성한다. 적절한 재표본 추출 스케줄링 조건 하에서 성능 향상이 가능하다.

ABSTRACT

We introduce the idea that resampling from past observations in a Markov Chain Monte Carlo sampler can fasten convergence. We prove that proper resampling from the past does not disturb the limit distribution of the algorithm. We illustrate the method with two examples. The first on a Bayesian analysis of stochastic volatility models and the other on Bayesian phylogeny reconstruction.

연구 동기 및 목표

• MCMC 알고리즘에서 느린 혼합 문제를 해결하여 실용적인 베이지안 추론을 가능하게 한다.
• 목표 분포를 왜곡하지 않고도 수렴 속도를 향상시킬 수 있는 일반적인 방법을 개발한다.
• 과거 표본에서 재표본 추출이 불변 분포에서의 i.i.d. 표본 추출을 근사함으로써 혼합을 향상시킬 수 있음을 보여준다.
• 더 빠른 수렴 속도를 보이는 보조 과정을 사용하여 프레임워크를 확장하여 추가적인 효율성 향상을 도모한다.
• 실제 베이지안 모델에서의 실험적 검증을 통해 측정 가능한 성능 향상을 입증한다.

제안 방법

• 정해진 시간 $a_k$ 에서 과거 상태의 경험 분포 $\{X_B, \ldots, X_{n-1}\}$ 에서 재표본 추출하여 $X_n$ 을 생성함으로써 전이 커널 $P$ 를 사용하는 것 대신한다.
• 수렴의 점근적 성질을 확보하고 과도한 재표본 추출을 방지하기 위해 $\alpha > 1$ 인 $a_k = b_1 + b_2 k^\alpha$ 의 재표본 추출 스케줄을 사용한다.
• 더 빠른 혼합 속도를 보이는 보조 마코프 체인 $\{X^{(0)}_n\}$ 에서 중요도 재표본 추출을 적용하여 성능을 향상시킨다.
• 재표본 추출 스케줄이 $a_n/n \to \infty$ 를 만족할 경우, 재표본 추출 조건 하에서 불변 분포가 그대로 유지됨을 증명한다.
• 포isson 방정식과 마틴게일 근사 기법을 사용하여 재표본 추출 체인의 기하적 에르고디시티성과 균일한 경계를 확립한다.
• 강한 법칙과 균일한 적분 가능성을 활용하여 경험 측도 $\mu_n$ 이 목표 측도 $\pi$ 로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 MCMC 체인에서 과거 상태에서 재표본 추출하는 것이 목표 분포를 왜곡하지 않고 수렴 속도를 가속화할 수 있는가?
• RQ2 어떤 재표본 추출 스케줄이 빠른 수렴과 불변 측도 유지 모두를 보장하는가?
• RQ3 더 빠른 혼합 속도를 보이는 보조 과정을 사용하면 재표본 추출 방법의 효율성이 어떻게 향상되는가?
• RQ4 과거 상태에서 재표본 추출을 통해 실질적인 베이지안 모델에서 자기상관을 얼마나 줄이고 효과적 표본 크기를 향상시킬 수 있는가?
• RQ5 이론적 보장이 스토케스틱 볼라티리티 및 계통수 나무와 같은 복잡한 모델로 확장 가능한가?

주요 결과

• 재표본 추출 스케줄이 $a_n/n \to \infty$ 를 만족할 경우, 과거 상태에서 재표본 추출은 목표 분포 $\pi$ 를 유지한다.
• 표준 게비스 샘플러 대비 베이지안 스토케스틱 볼라티리티 모델에서 재표본 추출 기법이 표본 추출 효율성을 50배 향상시킨다.
• 베이지안 계통수 재구성 문제에서 제안된 방법은 기준 MCMC 샘플러 대비 효율성을 100배 향상시킨다.
• 이론적 분석을 통해 보조 과정의 약한 모멘트 및 드리프트 조건 하에서 재표본 추출 체인의 기하적 에르고디시티성이 확인된다.
• 보조 체인에서 중요도 재표본 추출을 통해 재표본 추출 체인은 보조 체인의 수렴 성질을 그대로 이어받는다.
• 경험 측도 $\mu_n$ 이 목표 측도 $\pi$ 로 수렴함이 균일한 적분 가능성과 가중 평균의 거의 확실한 수렴을 통해 입증된다.