[논문 리뷰] Microcanonical Hamiltonian Monte Carlo

Jakob Robnik, G. Bruno De Luca외 2명|arXiv (Cornell University)|2022. 12. 16.

Markov Chains and Monte Carlo Methods인용 수 12

한 줄 요약

이 논문은 표준 HMC에서 사용하는 캐노니컬 열역학적 집합 대신 고정된 에너지 하모니크 동역학을 따르는 새로운 샘플링 방법인 마이크로칸노니컬 하모니크 몬테카를로(MCHMC)를 소개한다. 하모니크 동역학의 에너지를 조정하여 운동량에 대한 주변 분포가 목표 분포가 되도록 함으로써, MCHMC는 차원 수와 조건 수치에 대해 뛰어난 스케일링 성능을 보이며, 효율적인 초모수 조정 기법을 통해 벤치마크 문제에서 NUTS-HMC를 수십 배 이상 뛰어넘는 성능을 달성한다.

ABSTRACT

We develop Microcanonical Hamiltonian Monte Carlo (MCHMC), a class of models which follow a fixed energy Hamiltonian dynamics, in contrast to Hamiltonian Monte Carlo (HMC), which follows canonical distribution with different energy levels. MCHMC tunes the Hamiltonian function such that the marginal of the uniform distribution on the constant-energy-surface over the momentum variables gives the desired target distribution. We show that MCHMC requires occasional energy conserving billiard-like momentum bounces for ergodicity, analogous to momentum resampling in HMC. We generalize the concept of bounces to a continuous version with partial direction preserving bounces at every step, which gives an energy conserving underdamped Langevin-like dynamics with non-Gaussian noise (MCLMC). MCHMC and MCLMC exhibit favorable scalings with condition number and dimensionality. We develop an efficient hyperparameter tuning scheme that achieves high performance and consistently outperforms NUTS HMC on several standard benchmark problems, in some cases by more than an order of magnitude.

연구 동기 및 목표

• 표준 HMC에서 사용하는 캐노니컬 집합과는 대조적으로 고정 에너지(마이크로칸노니컬) 하모니크 동역학을 기반으로 하는 새로운 MCMC 샘플러 클래스를 개발하는 것.
• 고차원 및 악조건 문제에서 캐노니컬 HMC의 한계를 해결하기 위해 에너지 보존을 강제로 적용하고 혼합 성능를 향상시키는 것.
• HMC에서의 운동량 재샘플링을 에너지 보존 운동량 반사로 일반화하여, 일정 에너지 표면에서 에르고딕 샘플링을 가능하게 하는 것.
• 비정규 분포 노이즈를 갖는 연속적, 저항력 있는 랑주뱅-유사 변형(MCLMC)을 제안하여 에너지를 보존하고 샘플링 효율성을 향상시키는 것.
• MCHMC와 MCLMC가 차원 수와 조건 수치에 대해 유리한 스케일링 성능를 보이며, NUTS-HMC와 같은 최첨단 방법을 뛰어넘는다는 것을 입증하는 것.

제안 방법

• 고정 에너지 초면에서 균일 분포로부터 샘플링하는 마이크로칸노니컬 하모니크 몬테카를로(MCHMC)를 제안하며, 이는 위상 공간 내의 고정 에너지 초면에서의 균일 분포에서 샘플링한다.
• 하모니크 동역학의 에너지 보존 조건 $ H(\mathbf{x}, \boldsymbol{\Pi}) = E $ 를 이용하여 운동량에 대한 주변 분포가 목표 분포 $ p(\mathbf{x}) $ 를 재현하도록 하모니크 동역학을 조정한다.
• HMC에서의 운동량 재샘플링의 연속적 유사체로 매 단계마다 운동량 반사를 도입하여 에너지 표면에서의 에르고딕성을 보장한다.
• 부분 방향 유지 반사가 있는 비정규 분포 노이즈를 갖는 비가역적, 에너지 보존, 저항력 있는 랑주앙 동역학 변형인 MCLMC를 개발한다.
• MCHMC의 리만 기하학적 해석을 유도하여, 메트릭 $ g_{ij} \propto (E - V(\mathbf{x}))^{2/q} \delta_{ij} $ 를 갖는 등각 평탄한 다양체 위의 지오데식 흐름과 동치임을 보여준다.
• 다양한 문제에서 높은 성능을 달성할 수 있도록 고안된 초모수 조정 기법을 도입하여, 표준 벤치마크에서 NUTS-HMC를 일관되게 능가하는 성능을 확보한다.

실험 결과

연구 질문

• RQ1 고정 에너지 하모니크 동역학을 사용하여 고차원 및 악조건 문제에서 표준 HMC를 능가하는 효율적인 MCMC 샘플러를 구축할 수 있는가?
• RQ2 운동량 재샘플링 없이 마이크로칸노니컬 샘플링에서 에르고딕성을 어떻게 확보할 수 있으며, 이 맥락에서 운동량 반사는 어떤 역할을 하는가?
• RQ3 마이크로칸노니컬 샘플링과 리만 다양체 위의 지오데식 흐름 사이의 관계는 무엇이며, 이를 새로운 샘플러 설계에 어떻게 활용할 수 있는가?
• RQ4 MCHMC와 그 변형인 MCLMC의 성능은 기존 방법(예: NUTS-HMC)과 비교해 차원 수와 조건 수치에 대해 어떻게 스케일링되는가?
• RQ5 비정규 분포 노이즈를 갖는 연속적, 에너지 보존 동역학을 구성할 수 있으며, 이는 상세 균형을 유지하고 높은 혼합 효율성을 달성할 수 있는가?

주요 결과

• MCHMC는 표준 벤치마크에서 NUTS-HMC를 일관되게 능가하며, 샘플링 효율성에서 수십 배 이상의 향상을 보였다.
• 이 방법은 차원 수와 조건 수치에 대해 우수한 스케일링 성능를 보이며, 고차원 및 악조건 목표 분포에서 캐노니컬 HMC를 능가한다.
• 에너지 보존 운동량 반사는 MCHMC에서 에르고딕성을 확보하는 데 필수적이며, HMC에서의 운동량 재샘플링과 유사하지만 에너지를 정확히 보존한다.
• 연속적 변형인 MCLMC는 비정규 분포 노이즈를 갖는 저항력 있는 에너지 보존 동역학을 제공하여 혼합 성능와 샘플링 효율성을 향상시킨다.
• 리만 기하학적 해석은 마이크로칸노니컬 샘플링이 목표 분포와 에너지에 의해 결정되는 메트릭을 갖는 등각 평탄한 다양체 위의 지오데식 흐름과 동치임을 드러낸다.
• 새로운 초모수 조정 기법을 통해 다양한 문제에서 높은 성능를 확보할 수 있었으며, 이는 MCHMC가 기존 HMC 기반 샘플러에 비해 강력하고 확장 가능한 대안이 됨을 보여준다.