[논문 리뷰] Second order quantitative bounds for unadjusted generalized Hamiltonian Monte Carlo

Evan Camrud, Alain Durmus외 2명|arXiv (Cornell University)|2023. 06. 15.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 수정된 엔트로피 방법의 펌터베이티브 이산화 버전을 사용하여 조정되지 않은 일반화 힘의 몽테카를로(가령 gHMC)에 대해 이阶 수렴 한계를 수립한다. 로그-소볼레프 조건과 약한 잠재력 정규성 조건 하에서 상대 엔트로피가 $\mathcal{O}(\delta^2)$ 속도로 감소함을 증명하며, 이는 정확도 $\varepsilon$를 달성하기 위한 총 반복 복잡도가 $\mathcal{O}(d/\varepsilon^{1/4})$임을 의미한다. 약하게 상호작용하는 평균장 잠재력의 경우 이 복잡도는 $\mathcal{O}((d/\varepsilon)^{1/4})$로 향상된다.

ABSTRACT

This paper provides a convergence analysis for generalized Hamiltonian Monte Carlo samplers, a family of Markov Chain Monte Carlo methods based on leapfrog integration of Hamiltonian dynamics and kinetic Langevin diffusion, that encompasses the unadjusted Hamiltonian Monte Carlo method. Assuming that the target distribution $π$ satisfies a log-Sobolev inequality and mild conditions on the corresponding potential function, we establish quantitative bounds on the relative entropy of the iterates defined by the algorithm, with respect to $π$. Our approach is based on a perturbative and discrete version of the modified entropy method developed to establish hypocoercivity for the continuous-time kinetic Langevin process. As a corollary of our main result, we are able to derive complexity bounds for the class of algorithms at hand. In particular, we show that the total number of iterations to achieve a target accuracy $\varepsilon >0$ is of order $d/\varepsilon^{1/4}$, where $d$ is the dimension of the problem. This result can be further improved in the case of weakly interacting mean field potentials, for which we find a total number of iterations of order $(d/\varepsilon)^{1/4}$.

연구 동기 및 목표

• 상대 엔트로피 기반으로 조정되지 않은 일반화 힘의 몽테카를로(gHMC)의 정량적 수렴 속도를 수립하기.
• 기존의 하이포코어시비티 기반 엔트로피 방법을 gHMC용 이산적이고 펌터베이티브 스킴으로 확장하기.
• 잠재력의 로그-소볼레프 조건과 정규성 조건 하에서 gHMC의 명시적 반복 복잡도 한계를 도출하기.
• 잠재력의 구조(예: 평균장)가 수렴 속도에 미치는 영향 분석하기.
• 일반화된 엔트로피에서 이阶 오차 한계를 제공하여 일阶 방법보다 향상된 성능 달성하기.

제안 방법

• 스플릿팅 적분기를 사용하여 연속 시간 수정 엔트로피 방법을 이산적이고 펌터베이티브 gHMC 동역학에 적용한다.
• 대상 측도 $\pi$에 대한 상대 엔트로피를 기반으로 하는 이산 라파노프 함수를 도입한다.
• 이산 gHMC 커널과 이상적인 해밀토니안 동역학 간의 차이를 제어하기 위해 펌터베이션 분석을 사용한다.
• 고차 오차 항을 제어하기 위해 가중치 노름 $\mathfrak{W}$와 함수 $\mathbf{M}$을 사용한다.
• 로그-소볼레프 부등식을 적용하여 반복 과정에서 상대 엔트로피 감소를 제어한다.
• 리프로그 적분기의 테일러 전개와 적분 나머지 추정을 통해 오차 항의 한계를 유도한다.

실험 결과

연구 질문

• RQ1 로그-소볼레프 조건 하에서 조정되지 않은 gHMC에 대해 상대 엔트로피 기반으로 이阶 수렴 한계를 확립할 수 있는가?
• RQ2 gHMC의 이산적이고 펌터베이티브 성격이 연속 동역학과 비교해 엔트로피 감소 속도에 어떤 영향을 미치는가?
• RQ3 고차원에서 목표 정확도 $\varepsilon$를 달성하기 위해 gHMC가 필요한 총 반복 수는 얼마인가?
• RQ4 잠재력의 구조(예: 약하게 상호작용하는 평균장)가 수렴 속도에 어떤 영향을 미치는가?
• RQ5 수정된 엔트로피 방법은 gHMC와 같은 이산적이고 비가역적인 MCMC 스킴에 적응 가능한가?

주요 결과

• gHMC 반복의 상대 엔트로피는 $\mathcal{O}(\delta^2)$ 속도로 감소하며, 이는 초기 분포와 잠재력 정규성에 따라 달라지는 상수에 의존한다.
• 표준 로그-소볼레프 조건과 정규성 조건 하에서 정확도 $\varepsilon > 0$를 달성하기 위해 필요한 총 반복 수는 $\mathcal{O}(d/\varepsilon^{1/4})$이다.
• 약하게 상호작용하는 평균장 잠재력의 경우 반복 복잡도는 $\mathcal{O}((d/\varepsilon)^{1/4})$로 향상된다.
• 분석을 통해 일반화된 엔트로피에서 이阶 오차 한계를 확립하였으며, 일阶 방법(예: 오일러 기반 방법)보다 향상된 성능을 달성한다.
• 이 방법은 더 약한 가정에도 강인하다: 네 번째 차수 정규성 조건을 세 번째 차수로 대체하면 $\mathcal{O}(\delta^2)$ 한계가 도출되며, $\mathcal{O}(\delta^4)$ 대신에 적용된다.
• 결과는 연속 시간 수정 엔트로피 방법의 이산적이고 펌터베이티브 변형을 통해 도출되었으며, 적분 오차 한계와 생성자 분석을 통해 검증되었다.