[논문 리뷰] Optimal Convergence Rate of Hamiltonian Monte Carlo for Strongly Logconcave Distributions

Zongchen Chen, Santosh Vempala|arXiv (Cornell University)|2019. 05. 07.

Markov Chains and Monte Carlo Methods참고 문헌 19인용 수 17

한 줄 요약

이 논문은 강한 로그볼록 분포에 대해 하미르토니안 몬테카를로(HMC)의 최적 수렴 속도를 확립하며, 이상적 HMC의 리랙세이션 시간이 $O(\kappa)$임을 증명하고, 이는 하한 $Ω(\kappa)$와 일치하며, 거의 최적의 ODE 해법기를 사용할 경우 HMC가 단계당 $Ϫ(O)((\kappa d)^{0.5}\varepsilon^{-1})$의 기울기 평가 횟수와 $Ϫ(O)((\kappa d)^{1.5}\varepsilon^{-1})$의 총 시간을 거쳐 2-와서르슈타인 거리에서 $\varepsilon$-근사 표본을 확보함을 보여준다.

ABSTRACT

We study Hamiltonian Monte Carlo (HMC) for sampling from a strongly logconcave density proportional to $e^{-f}$ where $f:\mathbb{R}^d o \mathbb{R}$ is $μ$-strongly convex and $L$-smooth (the condition number is $κ= L/μ$). We show that the relaxation time (inverse of the spectral gap) of ideal HMC is $O(κ)$, improving on the previous best bound of $O(κ^{1.5})$; we complement this with an example where the relaxation time is $Ω(κ)$. When implemented using a nearly optimal ODE solver, HMC returns an $\varepsilon$-approximate point in $2$-Wasserstein distance using $\widetilde{O}((κd)^{0.5} \varepsilon^{-1})$ gradient evaluations per step and $\widetilde{O}((κd)^{1.5}\varepsilon^{-1})$ total time.

연구 동기 및 목표

• 강한 로그볼록 분포에 대해 하미르토니안 몬테카를로(HMC)의 수렴 속도에 대한 알려진 상한과 하한 사이의 격차를 메우기.
• 조건 수 $\kappa = L/\mu$를 가진 $\mu$-강한 볼록성과 $L$-리프시츠 연속성 하에서 이상적 HMC의 최적 리랙세이션 시간을 확립하기.
• 거의 최적의 ODE 해법기를 사용한 HMC의 계산 비용을 분석하여, 2-와서르슈타인 거리에서 $\varepsilon$-정확도를 달성하기 위한 기울기 평가 횟수와 총 시간을 정량화하기.
• 리랙세이션 시간에 대한 날카운 상한과 하한을 제공하여 $O(\kappa)$가 최적이 됨을 보여주기.

제안 방법

• 수치적 통합 오차를 무시하고, 히스테리언 ODE 시스템의 정확한 해를 가진 이상적 HMC를 분석한다.
• 스펙트럼 갭 분석을 사용하여 HMC 마코프 체인의 리랙세이션 시간 $\tau_{\text{rel}}(P)$를 경계한다.
• 오차 허용도 $\delta$를 가진 ODE 해법기 결과를 적용하며, 제어된 근사화를 위해 $\delta = \sqrt{\mu}T^2\varepsilon/16$를 확보한다.
• 궤적의 이阶도수의 조각별 일정한 근사화를 사용하여 ODE 해법기의 복잡도를 경계한다.
• 카우치-슈바르츠 부등식과 가우시안 속도 및 기울기의 모멘트 경계를 사용하여 단계당 기울기 평가 횟수의 기대값을 제어한다.
• 복잡도 분석에서 로그 인자들을 고려하기 위해 $\u03ea(O)$-기호를 통합한다.

실험 결과

연구 질문

• RQ1 조건 수 $\kappa$를 가진 강한 로그볼록 분포에 대해 이상적 HMC의 최적 리랙세이션 시간은 무엇인가요?
• RQ2 HMC 리랙세이션 시간에 대한 $O(\kappa^{1.5})$ 상한을 $O(\kappa)$로 향상시킬 수 있을까요?
• RQ3 $O(\kappa)$ 경계는 날카로운가요, 아니면 더 줄일 수 있을까요?
• RQ4 거의 최적의 ODE 해법기를 사용한 HMC의 계산 비용은 기울기 평가 횟수와 총 시간 측면에서 어떻게 되나요?
• RQ5 기울기 평가 횟수는 차원 $d$, 조건 수 $\kappa$, 오차 허용도 $\varepsilon$에 따라 어떻게 척도화되나요?

주요 결과

• 이상적 HMC의 리랙세이션 시간은 $O(\kappa)$이며, 이는 이전의 최선의 경계인 $O(\kappa^{1.5})$를 향상시킨다.
• 리랙세이션 시간이 $\Omega(\kappa)$가 되는 예시를 구성하여 $O(\kappa)$가 최적이 됨을 증명한다.
• 거의 최적의 ODE 해법기를 사용할 경우 HMC는 단계당 $Ϫ(O)((\kappa d)^{0.5}\varepsilon^{-1})$의 기울기 평가 횟수를 필요로 한다.
• 총 시간 복잡도는 2-와서르슈타인 거리에서 $\varepsilon$-정확도를 확보하기 위해 $Ϫ(O)((\kappa d)^{1.5}\varepsilon^{-1})$이다.
• 단계당 평균 기울기 평가 비용은 $O\left(\frac{\sqrt{\kappa d}}{\varepsilon}\log\left(\frac{\kappa d}{\varepsilon}\right)\right)$로 경계된다.
• 분석을 통해 $O(\kappa)$ 리랙세이션 시간 경계가 날카로우며, 강한 로그볼록 타겟에 대한 HMC 수렴 속도 이론적 격차를 닫는다.