[논문 리뷰] Does waste-recycling really improve Metropolis-Hastings Monte Carlo algorithm?

Jean‐François Delmas, Benjamin Jourdain|arXiv (Cornell University)|2006. 11. 30.

Markov Chains and Monte Carlo Methods참고 문헌 12인용 수 3

한 줄 요약

이 논문은 메트로폴리스-하스팅스 알고리즘에서 점근적 분산을 감소시키기 위해 쓰레기 재활용(WR) 몬테카를로 방법을 제어 변수 기법으로 프레임워크화하여 철저히 분석한다. 일반적인 직관과는 반대로 WR가 항상 성능을 향상시키지는 않지만, 보른츠만 알고리즘 설정에서는 점근적으로 우월하다는 것을 증명하며, 경험적 제안을 통한 최적의 파라미터 추정을 제안한다.

ABSTRACT

The Metropolis Hastings algorithm and its multi-proposal extensions are aimed at the computation of the expectation $$ of a function $f$ under a probability measure $π$ difficult to simulate. They consist in constructing by an appropriate acceptation/rejection procedure a Markov chain $(X_k,k\geq 0)$ with transition matrix $P$ such that $π$ is reversible with respect to $P$ and in estimating $$ by the empirical mean $I_n(f)=\inv{n}\sum_{k=1}^n f(X_k)$. The waste-recycling Monte Carlo (WR) algorithm introduced by physicists is a modification of the Metropolis-Hastings algorithm, which makes use of all the proposals in the empirical mean, whereas the standard Metropolis-Hastings algorithm only uses the accepted proposals. In this paper, we extend the WR algorithm into a general control variate technique and exhibit the optimal choice of the control variate in terms of asymptotic variance. We also give an example which shows that in contradiction to the intuition of physicists, the WR algorithm can have an asymptotic variance larger than the one of the Metropolis-Hastings algorithm. However, in the particular case of the Metropolis-Hastings algorithm called Boltzmann algorithm, we prove that the WR algorithm is asymptotically better than the Metropolis-Hastings algorithm.

연구 동기 및 목표

• 쓰레기 재활용(WR) 몬테카를로 방법이 다중 제안 메트로폴리스-하스팅스 알고리즘에서 점근적 분산을 진정으로 감소시키는지 철저히 평가하는 것.
• WR를 일반적인 제어 변수 기법으로 공식화하고 점근적 분산을 최소화하는 최적의 제어 변수 함수를 규명하는 것.
• 물리학 문헌에서 오랫동안 널리 퍼진 가정인 WR가 항상 효율성을 향상시킨다는 것을 뒤집는 반례를 제시하여, 분산이 증가할 수 있음을 밝히는 것.
• 특히 보른츠만 알고리즘 프레임워크 내에서 WR가 표준 메트로폴리스-하스팅스보다 점근적으로 더 낫게 되는 조건을 설정하는 것.
• 다중 제안 설정에서 경험적 제안을 사용하여 최적의 WR 파라미터를 추정하는 파arametric 추정기법을 제안하는 것.

제안 방법

• WR 추정기를 $ I_n(f) + J_n(\beta) $로 재구성하여, $ J_n(\beta) $ 는 수용된 제안뿐만 아니라 기각된 제안까지 모두 사용하고, 이를 제어 변수 문제로 간주한다.
• 마르코프 체인에 대한 중심극한정리에 기반해 WR 추정기의 점근적 분산을 유도하며, 제어 변수 $ \psi $ 의 선택에 따라 달라짐을 보여준다.
• 점근적 분산을 최소화하는 최적의 제어 변수 $ F $ 는 포아송 방정식 $ F - P F = f - \langle \pi, f \rangle $ 의 해로서 결정된다.
• 다중 제안 케이스에서 WR의 선형 파arametric 일반화 $ J_n(b f) $ 를 제안하고, 마르코프 체인 경로를 사용해 최적의 $ b_* $ 를 추정하는 방법을 유도한다.
• 에르고딕 정리와 마르팅게일 기법을 사용해, 미약한 조건 하에서 WR 추정기의 거의 확실 수렴성과 점근 정규성을 증명한다.
• 단일 제안 케이스에서 반례를 구성하여, WR가 표준 메트로폴리스-하스팅스보다 더 큰 점근적 분산을 가질 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 물리학 문헌에서 일반적으로 믿고 있는 것처럼, 쓰레기 재활용은 항상 메트로폴리스-하스팅스 추정기의 점근적 분산을 감소시키는가?
• RQ2 WR 알고리즘은 공식적으로 제어 변수 기법으로 프레임워크화할 수 있으며, 점근적 분산을 최소화하는 데 있어 최적의 제어 변수 함수는 무엇인가?
• RQ3 특히 보른츠만 알고리즘 케이스에서, WR는 표준 메트로폴리스-하스팅스보다 점근적 효율성 면에서 더 낫게 되는 특정 경우는 무엇인가?
• RQ4 일반적인 마르코프 체인 경로만을 사용해 파arametric WR 추정기의 최적 파라미터를 추정하는 것이 가능한가?
• RQ5 일반적인 제어 변수를 사용할 때 WR 추정기의 일致성과 점근 정규성을 보장하는 조건은 무엇인가?

주요 결과

• WR 알고리즘이 항상 성능을 향상시키지는 않는다: 단일 제안 케이스에서의 반례는 WR가 표준 메트로폴리스-하스팅스보다 더 큰 점근적 분산을 가질 수 있음을 보여준다.
• WR 프레임워크 내에서 최적의 제어 변수는 포아송 방정식 $ F - P F = f - \langle \pi, f \rangle $ 의 해인 $ F $ 로서, 점근적 분산을 최소화한다.
• 보른츠만 알고리즘 설정에서는 WR 알고리즘이 표준 메트로폴리스-하스팅스보다 점근적으로 더 낫다. 이는 점근적 분산이 명백히 더 작다는 것으로 입증된다.
• 다중 제안 WR 알고리즘에서는 파arametric 가족 $ J_n(b f) $ 내의 최적 파라미터 $ b_* $ 가 마르코프 체인 경로로부터 일致하게 추정될 수 있다.
• WR 추정기의 점근적 분산은 $ \tilde{\sigma}(f,\beta)^2 = \sigma(f,\beta)^2 + \int \pi(dx) \left[ \text{Var}_{{\mathcal{Q}}(x,\cdot)}(\kappa\beta_x - \kappa F_x) - \text{Var}_{{\mathcal{Q}}(x,\cdot)}(\kappa F_x) \right] $ 로 주어지며, 이는 $ \beta $ 의 선택에 따라 달라짐을 보여준다.
• 선택 커널 $ \kappa' $ 가 원래 $ \kappa $ 와 다를 수 있는 경우라도, 하라스 재귀성과 적분 가능성 조건 하에서 $ I_n(f) + \mathcal{J}_n^\prime(\psi) $ 는 일致성을 가진다.