[논문 리뷰] Rapid Mixing of Hamiltonian Monte Carlo on Strongly Log-Concave Distributions

Oren Mangoubi, Aaron Smith|arXiv (Cornell University)|2017. 08. 23.

Markov Chains and Monte Carlo Methods참고 문헌 21인용 수 71

한 줄 요약

논문은 강하게 로그-컨케이브 타깃에 대해 해밀토니언 몬테카를로(HMC)의 비점근적 혼합 경계들을 증명하며 이상적인 HMC에 대해 차원 독립적인 혼합 속도를 보여주고 실용적인 leapfrog 구현에 대해 그래디언트 비용의 근사 최적화 스케일링 O(d^{1/4})를 제시한다.

ABSTRACT

We obtain several quantitative bounds on the mixing properties of the Hamiltonian Monte Carlo (HMC) algorithm for a strongly log-concave target distribution $π$ on $\mathbb{R}^{d}$, showing that HMC mixes quickly in this setting. One of our main results is a dimension-free bound on the mixing of an "ideal" HMC chain, which is used to show that the usual leapfrog implementation of HMC can sample from $π$ using only $\mathcal{O}(d^{\frac{1}{4}})$ gradient evaluations. This dependence on dimension is sharp, and our results significantly extend and improve previous quantitative bounds on the mixing of HMC.

연구 동기 및 목표

• Rd에서 강하게 로그-컨케이브 분포에 대한 HMC의 혼합 특성을 동기 부여하고 정량화한다.
• 이상적인 HMC 다이나믹스에 대한 차원 독립적 혼합 경 Bound를 도출하고 이를 실용적인 수치 구현으로 옮긴다.
• 강한 볼록성 가정하에서 HMC의 성능을 Langevin 다이나믹스 및 볼 워크와 비교한다.
• 비교/조정되지 않은 HMC 및 Metropolis 보정된 HMC에 대한 그래디언트/계산 비용 경계를 다양한 적분기 순서에 대해 제공한다

제안 방법

• Momentum 재샘플링 및 해밀토니언 흐름과 함께 랜덤 매핑으로 HMC를 모델링한다.
• 포텐셜 U에 대한 강한 볼록성 가정과 혼합 경을 얻기 위한 드리프트 조건을 설정한다.
• 적분 시간 T를 (m2/M2)^{-1/2}에 비례하도록 하여 이상적 HMC 커널의 Wasserstein 거리 수렴과 스펙트럼 간극 경계를 증명한다.
• 운동량이 이동에 미치는 영향을 분석하기 위해 ODE 비교 및 커플링 인자를 사용한다.
• 가분 가능성과 규칙성 가정 하에 1차 및 고차 적분기를 사용하는 근사 HMC 다이나믹스로의 확장을 다룬다.
• 비조정 및 Metropolis 보정된 스킴의 경우 그래디언트 평가를 기준으로 계산 비용을 정량화한다.

실험 결과

연구 질문

• RQ1 고차원에서 강하게 로그-컨케이브 목표 분포에 대해 HMC의 혼합 속도는 얼마나 빠른가?
• RQ2 이상적인 HMC 및 실용적 구현에 대한 비점근적 혼합 경 Bound의 차원 의존성 및 상수는 무엇인가?
• RQ3 수치적 적분기(order k 및 분리 가능성)이 HMC의 혼합성과 계산 비용에 어떤 영향을 미치는가?
• RQ4 유사한 볼록성 가정하에서 HMC 경계는 Langevin 다이나믹스 및 볼 워크와 어떻게 비교되는가?

주요 결과

• 이상적 HMC에서 적분 시간 T = (1/2) sqrt(2) sqrt(m2/M2)일 때 Wasserstein 거리에서의 수렴은 Wk(K(x, ·), K(y, ·)) / ||x−y|| ≤ 1 − (m2/M2)^2 / 64를 만족한다.
• 스펙트럼 이완 시간 τrel(K)는 이상적 다이나믹스에 대해 (M2/m2)^2 / 64로 한정된다.
• 적분기 1차 오일러에 의한 비보정 HMC는 적절한 θ에서 π로의 샘플링을 그래디언트 비용 Od(d^{1/2})로 달성하며, 고차 적분기의 경우 분리 가능성 하에서 비용은 Od(d^{1/2k})로 개선된다.
• 고차 HMC(k ≥ 2)에 대해 약한 가정 하에서 Prokhorov 거리와 π 간의 차이가 ε 이하가 되도록 비용 N(Qθ, I) = O∗(d^{1/(2k)} ε^{−2/k})를 달성할 수 있으며, Metropolis 보정 HMC는 유사한 보장을 유사한 비용 한계로 달성한다.
• 강한 볼록성 하에서 전처리(preconditioning)가 m2/M2 비율을 줄이고 실용적 성능을 향상시킬 수 있다(전처리에 관한 주석).
• 이 결과는 HMC가 Langevin(차원에 따라 d^{1/2} 또는 d^{1/3} 유형 비용) 및 볼 워크보다 동일한 강한 로그-컨케이브 설정에서 더 우수할 수 있음을 보여준다.