[논문 리뷰] Variance reduction for MCMC methods via martingale representations

Denis Belomestny, Éric Moulines외 2명|arXiv (Cornell University)|2019. 03. 18.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 4

한 줄 요약

이 논문은 새로운 이산시간 마르تين갈 표현을 사용하여 마르코프 체인의 가산 함수에 대한 비점근적 분산 감소 기법을 제안한다. 정적 분포나 에르고딕성에 의존하지 않음으로써, 기초적인 MCMC보다 낮은 비용-분산 곱을 달성하며, 랑주방형 MCMC 방법들에서의 성능 향상이 입증되었다.

ABSTRACT

In this paper we propose an efficient variance reduction approach for additive functionals of Markov chains relying on a novel discrete time martingale representation. Our approach is fully non-asymptotic and does not require the knowledge of the stationary distribution (and even any type of ergodicity) or specific structure of the underlying density. By rigorously analyzing the convergence properties of the proposed algorithm, we show that its cost-to-variance product is indeed smaller than one of the naive algorithm. The numerical performance of the new method is illustrated for the Langevin-type Markov Chain Monte Carlo (MCMC) methods.

연구 동기 및 목표

• 정적 분포의 지식이 필요하지 않은 비점근적 분산 감소 기법을 개발하여 마르코프 체인의 가산 함수에 대해 적용 가능하게 한다.
• MCMC 샘플링에서 타겟 밀도의 특정 구조적 가정이나 에르고딕성 조건을 제거한다.
• 기본적인 MCMC 알고리즘보다 낮은 비용-분산 곱을 달성한다.
• 일반적인 MCMC 환경, 특히 랑주방형 샘플러에 적용 가능한 이론적으로 타당한 방법을 제공한다.

제안 방법

• 방법은 마르코프 체인의 가산 함수를 상관이 없는 증분들의 합으로 분해하기 위해 이산시간 마르틴갈 표현을 사용한다.
• 마르틴갈 표현에 기반한 제어 변수를 구성함으로써, 정적 분포가 필요 없이 추정기의 분산을 감소시킨다.
• 이 접근법은 완전히 비점근적이며, 마르코프 체인의 경로적 성질에만 의존하고 장기적 행동에 의존하지 않는다.
• 분산 감소는 마르틴갈 차이의 공간에 대한 투영을 통해 달성되며, 이로 인해 평균이 0인 수정 항목을 보장한다.
• 알고리즘은 타겟 밀도의 구조나 에르고딕성에 대한 사전 지식 없이도 구현 가능하다.
• 이론적 분석을 통해 비용-분산 곱이 기초 추정기보다 엄격히 작다는 것이 입증되었다.

실험 결과

연구 질문

• RQ1 정적 분포나 에르고딕성을 요구하지 않는 MCMC를 위한 분산 감소 기법을 개발할 수 있는가?
• RQ2 이산시간 마르코프 체인에서 마르틴갈 표현을 어떻게 활용하여 효과적인 제어 변수를 구성할 수 있는가?
• RQ3 제안된 방법의 이론적 비용-분산 트레이드오프는 기존 MCMC 추정기와 비교해 어떻게 되는가?
• RQ4 이 방법은 랑주방형 MCMC와 같은 실용적 설정에서도 분산 감소를 유지하는가?
• RQ5 타겟 밀도의 구조적 가정 없이 일반적인 가산 함수에 적용 가능한가?

주요 결과

• 제안된 방법은 기초적인 MCMC 추정기보다 엄격히 낮은 비용-분산 곱을 달성하여 샘플링 효율성이 향상됨을 입증하였다.
• 분산 감소는 비점근적이며, 체인이 정적 분포에 도달하거나 특정 에르고딕성 조건을 만족할 필요가 없다.
• 정적 분포의 지식이나 타겟 밀도의 구조적 가정 없이도 일반적인 가산 함수에 적용 가능하다.
• 수치 실험을 통해 랑주방형 MCMC에서의 방법의 효과성이 확인되었으며, 테스트 케이스 전반에서 일관된 분산 감소가 관찰되었다.
• 마르틴갈 표현은 다양한 MCMC 알고리즘에 대한 제어 변수 구성에 대해 이론적으로 타당한 기반을 제공한다.