[논문 리뷰] On the convergence of Hamiltonian Monte Carlo

Alain Durmus, Éric Moulines외 1명|arXiv (Cornell University)|2017. 04. 29.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 42

한 줄 요약

이 논문은 잠재함수 $U$에 대한 약한 조건 하에서 해밀턴 몽테카를로(Hamiltonian Monte Carlo, HMC) 알고리즘의 기하적 에르고딕성을 확립하며, 기약성, 재귀성, 헤리스 재귀성을 증명한다. 기하 수렴을 보장하는 검증 가능한 조건을 제시하여 이전 결과를 확장하고 최근 분야 내 연구와 비교해도 유리한 성과를 얻는다.

ABSTRACT

This paper discusses the irreducibility and geometric ergodicity of the Hamiltonian Monte Carlo (HMC) algorithm. We consider cases where the number of steps of the symplectic integrator is either fixed or random. Under mild conditions on the potential $\F$ associated with target distribution $π$, we first show that the Markov kernel associated to the HMC algorithm is irreducible and recurrent. Under more stringent conditions, we then establish that the Markov kernel is Harris recurrent. Finally, we provide verifiable conditions on $\F$ under which the HMC sampler is geometrically ergodic.

연구 동기 및 목표

• 잠재함수 $U$에 대한 약한 조건 하에서 HMC 마코프 커널의 기약성과 재귀성을 확립하기 위해.
• 더 엄격한 조건 하에서 HMC 커널의 헤리스 재귀성을 증명하기 위해.
• HMC 샘플러의 기하적 에르고딕성을 보장하는 $U$에 대한 검증 가능한 조건을 유도하기 위해.
• 이 논문의 가정을 최근 논문 [15]과 [5]의 가정과 비교하기 위해.

제안 방법

• 확장된 위상공간 $\mathbb{R}^{2d}$에서 해밀턴 역학을 이용한 메트로폴리스-해스팅스 샘플러로 HMC 알고리즘을 분석한다.
• 체적과 에너지를 유지하는 심플렉틱 적분기를 사용하여 해밀턴 흐름 $\varphi_t$를 시뮬레이션한다.
• S-역성(모멘텀 뒤집기 대칭성)을 적용하여 세부 균형을 확보하고 메트로폴리스 수용률을 정확히 한다.
• 해밀턴 흐름의 성질을 이용하여 임의의 초기 상태에서 목표 집합으로의 경로 존재성을 통해 기약성을 확립한다.
• 기약성과 조화 함수 분석을 포함한 마코프 체인 이론 결과를 적용하여 헤리스 재귀성을 증명한다.
• 리아푸노프 함수와 $U$의 尾행동을 이용하여 도약 조건과 미니멀 조건을 도출하여 기하 에르고딕성을 검증한다.

실험 결과

연구 질문

• RQ1 잠재함수 $U$에 대해 어떤 조건이 HMC 마코프 커널의 기약성과 관련이 있는가?
• RQ2 HMC 커널이 언제 재귀적이거나 헤리스 재귀적인가?
• RQ3 HMC 샘플러의 기하적 에르고딕성을 보장하는 $U$에 대한 검증 가능한 조건은 무엇인가?
• RQ4 이 논문의 가정은 [15]와 [5]의 가정과 어떻게 비교되는가?

주요 결과

• $U$에 대해 $C^1$-연속성과 성장 조건과 같은 약한 조건이 만족되면 HMC 커널은 기약성과 재귀성을 갖는다.
• 특히 $\|\nabla U(q)\|$의 행동을 포함한 더 강력한 정규성 및 성장 조건을 만족할 경우 헤리스 재귀성이 확립된다.
• 기하 에르고딕성은 $U$의 꼬리 행동을 제어하는 조건 하에서 증명되며, 특히 $\|q\|$가 크고 $\gamma > 1$일 때 $\|\nabla U(q)\| \geq c\|q\|^{\gamma}$를 만족할 경우에 해당한다.
• 이 논문은 Hessian에 대한 바운드와 기울기의 성장 조건을 포함하여 기하 에르고딕성을 보장하는 $U$에 대한 명시적이고 검증 가능한 조건을 제공한다.
• 가정이 [15]와 [5]의 가정보다 더 약하거나 더 일반적이며, 특히 필요로 하는 연속성과 꼬리 행동 측면에서 더 우월하다.
• 분석을 통해 유도된 조건 하에서 HMC 샘플러가 목표 분포 $\pi$로 기하적으로 수렴함을 확인하였으며, 이는 빠른 혼합과 신뢰할 수 있는 추론을 보장한다.