[논문 리뷰] Faster Hamiltonian Monte Carlo by Learning Leapfrog Scale

Changye Wu, Julien Stoehr외 1명|arXiv (Cornell University)|2018. 10. 10.

Markov Chains and Monte Carlo Methods참고 문헌 1인용 수 13

한 줄 요약

이 논문은 NUTS 버닝 단계 동안의 루프-스텝 통합 시간의 경험적 분포를 학습하여 HMC에서 단계 수 $L$을 자동으로 선택하는 개선된 해밀토니안 몽테카를로(eHMC) 알고리즘을 제안한다. 이는 샘플링 효율을 크게 향상시킨다. NUTS의 계산 비용이 많이 드는 재귀적 경로 구축 방식을 대체로, 추정된 분포에서 캘리브레이션된 무작위 $L$을 선택함으로써, eHMC는 최소한의 튜닝으로 NUTS와 표준 HMC보다 높은 효과적 샘플 크기(ESS)와 낮은 코모고로프-스미르노프 거리(Kolmogorov-Smirnov distance)를 달성한다.

ABSTRACT

Hamiltonian Monte Carlo samplers have become standard algorithms for MCMC implementations, as opposed to more basic versions, but they still require some amount of tuning and calibration. Exploiting the U-turn criterion of the NUTS algorithm (Hoffman and Gelman, 2014), we propose a version of HMC that relies on the distribution of the integration time of the associated leapfrog integrator. Using in addition the primal-dual averaging method for tuning the step size of the integrator, we achieve an essentially calibration free version of HMC. When compared with the original NUTS on several benchmarks, this algorithm exhibits a significantly improved efficiency.

연구 동기 및 목표

• NUTS의 계산 오버헤드를 줄이기 위해, 불필요한 되돌아가기와 경로 확장을 피하는 것.
• NUTS의 경험적 데이터를 기반으로 하여 수동 캘리브레이션 없이도 자동으로 루프-스텝 수 $L$을 선택하는 캘리브레이션 자유형 HMC 변종을 개발하는 것.
• 대상 분포의 기하학적 특성을 반영하는 최적의 $L$ 값 분포를 학습하여 HMC의 샘플링 효율을 향상시키는 것.
• 학습된 분포를 기반으로 한 무작위 $L$ 선택 방식이 고정된 또는 NUTS 스타일의 적응적 $L$ 선택보다 ESS와 수렴성 측면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 방법은 NUTS 버닝 단계 동안 관측된 최장 루프-스텝 경로 길이의 경험적 분포 $\hat{P}_{\mathcal{L}}$ 를 학습하는 것이다.
• 각 HMC 반복에서, 재귀적 두 배 증가 방식으로 경로를 구축하는 대신, $\hat{P}_{\mathcal{L}}$ 에서 무작위로 $L$을 추출한다.
• 스텝 크기 $\epsilon$ 는 원시-쌍대 평균 기법을 사용하여 튜닝하여 수동 캘리브레이션 없이 자동 적응을 보장한다.
• 알고리즘은 메트로폴리스-해스팅스 수용 기법을 통해 세부 균형을 유지하여 정확한 타겟 분포를 보존한다.
• 사전에 학습된 효율적인 경로 길이 분포를 사용함으로써, NUTS의 경로 재진행을 피한다.
• 표준 HMC 프레임워크에 통합되어, NUTS의 경로 탐색 논리를 학습된 $L$-샘플링 전략으로 대체한다.

실험 결과

연구 질문

• RQ1 NUTS에서 최적의 루프-스텝 통합 시간 분포를 학습함으로써 HMC의 효율성을 향상시킬 수 있는가?
• RQ2 NUTS의 재귀적 경로 확장을 학습된 무작위 $L$ 선택 방식으로 대체하면, 불필요한 계산 낭비를 줄이면서 혼합 성능를 유지하거나 향상시킬 수 있는가?
• RQ3 캘리브레이션 자유형 HMC 변종이 NUTS보다 더 높은 효과적 샘플 크기(ESS)와 낮은 추정 오차를 달성할 수 있는가?
• RQ4 제안된 eHMC의 성능은 ESS와 수렴성 지표 측면에서 NUTS와 표준 HMC와 비교해 어떻게 되는가?

주요 결과

• eHMC는 NUTS보다 유의미하게 높은 효과적 샘플 크기(ESS)를 달성하며, $\beta$에 대해 $16.2 \times 10^{-3}$ 의 ESS 값을 기록하여 NUTS의 $6.26 \times 10^{-3}$ 보다 높다.
• 동일한 계산 비용에서 eHMC는 NUTS 대비 최대 30% 감소한 코모고로프-스미르노프(KS) 거리와 prHMC 대비 20% 감소한 거리를 기록한다.
• 같은 정밀도를 달성하기 위해 더 적은 시뮬레이션 수가 필요하며, 이는 더 낮은 KS 거리와 더 높은 그라디언트 평가당 ESS로 입증된다.
• 성능 향상의 원인은 전역적으로 적절한 $L$ 값과 NUTS의 경로 확장 오버헤드를 피한 계산 감소에 기인한다.
• eHMC는 최적화된 $L$ 값을 매 반복마다 계산하지 않음에도 불구하고, ESS와 기대 제곱 점프 거리(ESJD) 측면에서 NUTS를 능가한다.
• NUTS 버닝 단계 데이터에서 $L$을 학습함으로써, 강건하고 효율적이며 캘리브레이션 자유인 HMC의 대안을 제공함을 입증한다.