[논문 리뷰] Improving Asymptotic Variance of MCMC Estimators: Non-reversible Chains are Better

Radford M. Neal|ArXiv.org|2004. 07. 15.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 49

한 줄 요약

이 논문은 유한 상태 공간 위의 임의의 가역 마르코프 체인을 상태 공간을 확장한 비가역 체인으로 변환하는 방법을 제안한다. 이는 MCMC 추정기의 점근적 분산을 감소시키거나 유지한다. 뒤로 되돌아가는 전이(이전 상태로 복귀하는 전이)를 피함으로써, 전략적인 상태공간 확장과 순차적 갱신을 통해 새로운 체인이 더 낮은 점근적 분산을 달성한다. 이는 비가역 체인이 MCMC 추정에서 본질적으로 더 효율적임을 보여준다.

ABSTRACT

I show how any reversible Markov chain on a finite state space that is irreducible, and hence suitable for estimating expectations with respect to its invariant distribution, can be used to construct a non-reversible Markov chain on a related state space that can also be used to estimate these expectations, with asymptotic variance at least as small as that using the reversible chain (typically smaller). The non-reversible chain achieves this improvement by avoiding (to the extent possible) transitions that backtrack to the state from which the chain just came. The proof that this modification cannot increase the asymptotic variance of an MCMC estimator uses a new technique that can also be used to prove Peskun's (1973) theorem that modifying a reversible chain to reduce the probability of staying in the same state cannot increase asymptotic variance. A non-reversible chain that avoids backtracking will often take little or no more computation time per transition than the original reversible chain, and can sometime produce a large reduction in asymptotic variance, though for other chains the improvement is slight. In addition to being of some practical interest, this construction demonstrates that non-reversible chains have a fundamental advantage over reversible chains for MCMC estimation. Research into better MCMC methods may therefore best be focused on non-reversible chains.

연구 동기 및 목표

• 비가역 마르코프 체인이 MCMC 추정에서 가역 체인보다 더 낮은 점근적 분산을 달성할 수 있음을 보여주는 것.
• 모든 가역적이고 기약적인 마르코프 체인을 점근적 분산이 증가하지 않는 확장된 상태공간 위의 비가역 체인으로 변환하는 일반적인 구축 방법을 개발하는 것.
• 뒤로 되돌아가는 전이(즉, 바로 이전 상태로 복귀하는 전이)를 피하는 것이 랜덤 워크 유사 행동을 크게 억제하고 샘플링 효율을 향상시킬 수 있음을 보여주는 것.
• 블록 분해와 샘플링의 계층화를 기반으로 한 새로운 분석 기법을 도입하여, 가역성에 의존하지 않고 분산 감소를 증명하는 것.
• 미래의 효율적인 MCMC 방법에 대한 연구는 비가역 체인이 분산 감소 측면에서 본질적인 이점이 있기 때문에 비가역 체인을 우선적으로 고려해야 한다고 주장하는 것.

제안 방법

• 기존 상태공간을 현재 상태와 이전 상태의 쌍으로 확장하여 비가역 체인을 위한 새로운 상태공간을 구성한다.
• 두 단계 갱신 메커니즘을 정의한다: 첫째, 쌍의 성분을 교환하고, 둘째, 정지 상태에 머무르지 않도록 수정된 지브스 샘플링 갱신을 두 번째 성분에 수행한다.
• 교환과 지브스 갱신의 순차적 적용을 통해 전체적으로 비가역 전이 핵심을 생성한다.
• 수정된 전이에 의해 영향을 받는 전이로 구분되는 블록으로 체인을 분할하는 새로운 증명 기법을 적용하여, 블록 간 샘플링의 계층화가 점근적 분산을 감소시킴을 보여준다.
• 델타 방법과 다변량 중심극한정리로 점근적 분산을 다양한 상태에 머무르는 비율에 따라 구성요소로 분해한다.
• 수정이 분산 분해에 영향을 주는 것은 계층화를 도입하기 때문이며, 이는 분산을 증가시키지 않으며 일반적으로 감소시킴을 증명한다.

실험 결과

연구 질문

• RQ1 가역 체인으로부터 비가역 체인을 구성할 수 있는가? 이때 MCMC 추정기의 점근적 분산이 증가하지 않는다.
• RQ2 뒤로 되돌아가는 전이(즉, 이전 상태로 복귀하는 전이)를 피하는 것이 MCMC 추정기의 점근적 분산 감소에 기여하는가?
• RQ3 비가역 체인이 그 가역적 동반자보다 낮은 분산을 달성하는 이론적 메커니즘은 무엇인가?
• RQ4 블록 분해와 계층화를 기반으로 한 새로운 증명 기법을 사용하여, 가역성에 의존하지 않고 MCMC에서 분산 감소 결과를 확립할 수 있는가?
• RQ5 점근적 분산 향상 정도는 원래의 가역 체인의 구조에 얼마나 의존하는가?

주요 결과

• 제안된 비가역 체인 구성은 MCMC 추정기의 점근적 분산이 원래의 가역 체인과 같거나 더 작아짐을 보장한다.
• 향상은 뒤로 되돌아가는 전이를 피함으로써 발생하며, 이는 가역 체인에 내재된 느린 확산적 랜덤 워크 행동을 억제한다.
• 전이당 계산 시간에 거의 또는 전혀 증가가 없어 계산적으로 효율적이다.
• 뒤로 되돌아가는 전이 억제로 인해 많은 단계에 걸쳐 방향성 있는 이동이 유도되는 경우, 점근적 분산 감소가 극적으로 나타날 수 있다.
• 다른 체인의 경우 향상 정도는 미미할 수 있지만, 이 방법은 여전히 성능 저하 없이 보장한다.
• 새로운 증명 기법은 분산 감소 결과를 입증할 뿐 아니라, 일반화 가능한 깔끔한 프레임워크를 제공하며, 페스크운의 정리에 대한 새로운 증명을 포함한 다른 MCMC 수정에 적용 가능하다.