[논문 리뷰] Fast mixing of Metropolized Hamiltonian Monte Carlo: Benefits of multi-step gradients

Yuansi Chen, Raaz Dwivedi외 2명|arXiv (Cornell University)|2019. 05. 29.

Markov Chains and Monte Carlo Methods참고 문헌 58인용 수 19

한 줄 요약

이 논문은 다중 단계 루프프로 제너레이터를 사용하는 메트로폴리스 처리 히브리지 몬테카를로(Metropolized HMC)에 대한 비점근적 혼합 시간 경계를 제공하며, 메트로폴리스 처리 랜덤 워크나 랑주뱅 알고리즘보다 더 빠른 수렴을 보여준다. 메트로폴리스 처리 HMC가 오차 허용 오차에 대해 로그적 의존성을 가지며, 고차원의 강력한 로그-볼록 분포에서 고차원 모멘트를 추정하는 데 있어 우수한 성능을 발휘함을 입증한다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a state-of-the-art Markov chain Monte Carlo sampling algorithm for drawing samples from smooth probability densities over continuous spaces. We study the variant most widely used in practice, Metropolized HMC with the Störmer-Verlet or leapfrog integrator, and make two primary contributions. First, we provide a non-asymptotic upper bound on the mixing time of the Metropolized HMC with explicit choices of step-size and number of leapfrog steps. This bound gives a precise quantification of the faster convergence of Metropolized HMC relative to simpler MCMC algorithms such as the Metropolized random walk, or Metropolized Langevin algorithm. Second, we provide a general framework for sharpening mixing time bounds of Markov chains initialized at a substantial distance from the target distribution over continuous spaces. We apply this sharpening device to the Metropolized random walk and Langevin algorithms, thereby obtaining improved mixing time bounds from a non-warm initial distribution.

연구 동기 및 목표

• 메트로폴리스 처리 HMC의 혼합 시간에 대한 비점근적 상한을 제공하며, 명시적인 스텝 사이즈와 루프프로 단계 선택을 포함한다.
• 연속 상태 마르코프 체인에서 초기 분포가 온전히 따르지 않을 경우 혼합 시간 경계를 정밀화하는 일반적인 프레임워크를 개발한다.
• 메트로폴리스 처리 HMC의 기울기 복잡도를 조정되지 않은 HMC 및 ODE 기반 HMC 변형과 비교하여 오차 허용 오차와 차원에 따라 분석한다.
• 메트로폴리스 처리 HMC가 고차원 모멘트 추정에서 가지는 이점, 특히 조정되지 않은 방법의 다항적 의존성과 대비하여 로그적 오차 의존성이 뛰어나다는 점을 정량화한다.

제안 방법

• 루프프로 적분기와 메트로폴리스-하스팅스 보정을 사용하여 메트로폴리스 처리 HMC에 대한 비점근적 혼합 시간 경계를 유도한다.
• 초기 분포가 목표 분포에서 멀리 떨어져 있을 경우 적용 가능한, 혼합 시간 경계를 정밀화하는 일반적인 기법을 도입한다. 이는 다양한 MCMC 알고리즘에 적용 가능하다.
• 메트로폴리스 처리 랜덤 워크 및 랑주뱅 알고리즘에 이 정밀화 프레임워크를 적용하여 혼합 시간 경계를 향상시킨다.
• 워샤르슈타인 거리 및 총 변동 거리 측정 기준으로, 다양한 MCMC 샘플러가 주어진 추정 오차를 달성하기 위해 필요한 기울기 평가 횟수를 분석한다.
• 조정되지 않은 HMC, ODE 기반 HMC, 메트로폴리스 처리 HMC 간의 기울기 복잡도를 비교하며 오차 허용 오차와 차원 의존성에 초점을 맞춘다.
• 리프시츠 및 유계 함수 가정을 사용하여 워샤르슈타인 거리 및 총 변동 거리 기반 오차 경계를 도출하며, 이를 몬테카를로 샘플링의 추정 오차와 연결한다.

실험 결과

연구 질문

• RQ1 메트로폴리스 처리 HMC의 혼합 시간은 단순한 MCMC 방법과 비교해 차원과 오차 허용 오차에 따라 어떻게 변화하는가?
• RQ2 다중 단계 루프프로 적분기는 메트로폴리스 처리 HMC의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 초기 분포가 목표 분포에서 멀리 떨어져 있을 경우 혼합 시간 경계를 향상시킬 수 있는 일반적인 프레임워크를 개발할 수 있는가?
• RQ4 고차원 모멘트 추정에서 메트로폴리스 처리 HMC의 기울기 복잡도는 조정되지 않은 HMC 및 ODE 기반 HMC와 비교해 어떻게 되는가?
• RQ5 다양한 MCMC 샘플러의 경우, 필요한 기울기 평가 횟수는 오차 허용 오차와 차원에 따라 어떻게 의존하는가?

주요 결과

• 메트로폴리스 처리 HMC는 오차 허용 오차 $\epsilon$ 에 대해 로그적 의존성을 가지며, $\delta$-정확한 추정을 위해 $O(d \log(\omega \sqrt{d}/\delta))$ 개의 기울기 평가를 필요로 한다.
• $\omega$-리프시츠 함수의 경우 워샤르슈타인 오차 경계는 $J_{\text{Wass}} = \omega \epsilon$ 이며, 유계 함수의 경우 총 변동 오차는 $J_{\text{TV}} = B\epsilon$ 이며, 여기서 $B = \omega R$ 이다.
• 고차원 모멘트 $g(x) = \|x\|^{1+\nu}$ 를 추정할 경우, 메트로폴리스 처리 HMC는 $O(d(1+\nu)\log(d/\delta))$ 개의 기울기 평가를 필요로 하며, $\nu > 1$ 일 경우 조정되지 않은 HMC($O(d^{(1+\nu)/2}/\sqrt{\delta})$) 보다 뛰어나다.
• ODE 기반 HMC는 $O(\omega \sqrt{d}/\delta)$ 개의 평가를 필요로 하며, 메트로폴리스 처리 HMC는 오차 의존성이 로그이기 때문에 $\nu > 1/2$ 일 경우 더 우수하다.
• 정밀화 프레임워크는 초기 분포가 목표 분포에서 멀리 떨어져 있을 경우 메트로폴리스 처리 랜덤 워크 및 랑주뱅 알고리즘의 혼합 시간 경계를 향상시킨다.
• 결과적으로 메트로폴리스 처리 HMC의 로그 오차 스케일링은 조정되지 않은 HMC 변형의 다항 오차 스케일링에 비해 뚜렷한 이점을 제공하며, 특히 고차원 또는 고차원 모멘트 추정 작업에서 두드러진다.