[논문 리뷰] Does Hamiltonian Monte Carlo mix faster than a random walk on multimodal densities?

Oren Mangoubi, Natesh S. Pillai외 1명|arXiv (Cornell University)|2018. 08. 09.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 16

한 줄 요약

이 논문은 고다중다성 목표 분포에서 해밀턴 몽테카를로(HMC)가 무작위 걷기 메트로폴리스(RWM)보다 우월한가를 조사하며, HMC가 본질적인 이점을 제공하지 못함을 밝힌다. 리우빌의 정리로부터 유도된 새로운 도전도 공식을 사용하여, 분산이 작은 가우시안 혼합 분포에서 두 알고리즘의 스펙트럼 갭을 계산한다. 그 결과, $ \sigma \to 0 $ 일 때 둘 다 동일한 감쇠율 $ e^{-\frac{1}{2}\sigma^{-2}} $ 을 보이며, 이는 HMC와 RWM이 이 영역에서 점점 더 유사한 혼합 시간을 가짐을 시사한다. 이는 HMC의 기울기 기반 제안이 모드 간에 효과적이지 못함에도 불구하고 성립한다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a very popular and generic collection of Markov chain Monte Carlo (MCMC) algorithms. One explanation for the popularity of HMC algorithms is their excellent performance as the dimension $d$ of the target becomes large: under conditions that are satisfied for many common statistical models, optimally-tuned HMC algorithms have a running time that scales like $d^{0.25}$. In stark contrast, the running time of the usual Random-Walk Metropolis (RWM) algorithm, optimally tuned, scales like $d$. This superior scaling of the HMC algorithm with dimension is attributed to the fact that it, unlike RWM, incorporates the gradient information in the proposal distribution. In this paper, we investigate a different scaling question: does HMC beat RWM for highly $ extit{multimodal}$ targets? We find that the answer is often $ extit{no}$. We compute the spectral gaps for both the algorithms for a specific class of multimodal target densities, and show that they are identical. The key reason is that, within one mode, the gradient is effectively ignorant about other modes, thus negating the advantage the HMC algorithm enjoys in unimodal targets. We also give heuristic arguments suggesting that the above observation may hold quite generally. Our main tool for answering this question is a novel simple formula for the conductance of HMC using Liouville's theorem. This result allows us to compute the spectral gap of HMC algorithms, for both the classical HMC with isotropic momentum and the recent Riemannian HMC, for multimodal targets.

연구 동기 및 목표

• 해밀턴 몽테카를로(HMC)가 고다중다성 목표 분포에서 무작위 걷기 메트로폴리스(RWM)보다 더 빠르게 혼합되는가를 판단하는 것.
• 모드가 분리된 다중모달 환경에서 HMC의 기울기 기반 제안이 의미 있는 이점을 제공하는가를 평가하는 것.
• 새로운 도전도 공식을 사용하여 HMC의 스펙트럼 갭을 다중모달 목표에서 일반적으로 계산할 수 있는 방법을 개발하는 것.
• 다양한 튜닝 파rameter 하에서 HMC 성능이 다중모달 영역에서 얼마나 견고한가를 평가하는 것.
• HMC가 일반적으로 RWM를 능가한다는 일반적인 가정을 도전하며, 특히 고차원 또는 다중모달 맥락에서의 성능을 검토하는 것.

제안 방법

• 리우빌의 정리로부터 유도된 HMC의 도전도를 위한 새로운 공식을 유도하여, 다중모달 목표에서 스펙트럼 갭을 정확히 계산할 수 있도록 한다.
• 표준적인 다중모달 예시로 두 가우시안의 혼합분포 $ \frac{1}{2}N(-1,\sigma^2) + \frac{1}{2}N(1,\sigma^2) $ 에 이 도전도 공식을 적용한다.
• 최적 튜닝 하에서, 등방성 및 리만 기하학적 메트릭을 사용한 HMC와 RWM의 스펙트럼 갭을 계산하며, 통합 시간 $ T \propto \sigma $ 과 제안 분산 $ \propto \sigma^2 $ 을 고려한다.
• 치페르의 부등식을 사용하여 도전도와 스펙트럼 갭을 연결하고, 혼합 시간 성능에 대한 경계를 수립한다.
• 스펙트럼 갭의 점근적 행동을 분석하여 $ \sigma \to 0 $ 일 때 두 알고리즘이 동일한 감쇠율을 보임을 보인다.
• HMC의 통합 시간 $ T $ 를 늘릴수록 도전도가 선형적으로 향상됨을 보여주며, 이는 성능 향상의 한계를 의미한다.

실험 결과

연구 질문

• RQ1 모드가 잘 분리된 다중모달 목표 분포에서 HMC가 RWM보다 더 빠르게 혼합되는가?
• RQ2 HMC 제안에서의 기울기 정보가 다중모달 목표에서 먼 모드 간 전이를 효과적으로 촉진할 수 있는가?
• RQ3 모드 간 거리가 증가함에 따라(즉, $ \sigma \to 0 $ 일 때) HMC와 RWM의 스펙트럼 갭의 점근적 행동은 어떻게 되는가?
• RQ4 최적 튜닝 하에서도 HMC가 다중모달 영역에서 본질적인 성능 한계를 가질 수 있는가?
• RQ5 통합 시간 $ T $ 를 늘림으로써 HMC의 도전도를 무한히 향상시킬 수 있는가, 아니면 수익 감소 현상이 존재하는가?

주요 결과

• 분산이 작은 두 가우시안의 혼합분포에서 $ \sigma \to 0 $ 일 때, HMC와 RWM 모두 스펙트럼 갭이 $ e^{-\frac{1}{2}\sigma^{-2}} $ 의 속도로 감쇠함을 보였다.
• 등방성 모멘텀을 사용한 HMC와 리만 기하학적 HMC의 스펙트럼 갭은 RWM과 동일한 감쇠율을 보이며, 이는 이 영역에서 HMC가 혼합 성능에서 우월한 이점을 가지지 못함을 시사한다.
• HMC의 도전도는 통합 시간 $ T $ 에 대해 최대 선형적으로 증가하므로, 성능 향상은 제한되어 있으며 다중모달 장벽을 넘을 수 없다.
• 최적 튜닝 하에서도 HMC는 다중모달 영역에서 RWM 대비 상대적 성능 향상을 이룰 수 없으며, 기울기가 모드 간에 효과적이지 못함을 보여준다.
• RWM는 더 나은 튜닝(예: $ \epsilon \propto \sigma $)을 통해 놀라운 성능 향상을 이룰 수 있지만, HMC는 이러한 향상이 없음을 보여주며, 튜닝 가능성에서의 핵심적인 차이를 드러낸다.
• 도전도 경계 $ \Phi(K_T) \leq T \cdot \Phi_0(\pi) $ 는 HMC의 효과적인 혼합 속도가 목표 분포의 기하학적 구조에 의해 본질적으로 제약받음을 의미한다.