[논문 리뷰] Continuously tempered Hamiltonian Monte Carlo

Matthew M. Graham, Amos Storkey|arXiv (Cornell University)|2017. 04. 11.

Markov Chains and Monte Carlo Methods참고 문헌 34인용 수 3

한 줄 요약

이 논문은 다모드 분포에서의 혼합 개선과 정규화 상수 추정을 위해 상태 공간에 연속적인 온도 조절 변수를 추가하는 Continuously Tempered Hamiltonian Monte Carlo (CT-HMC)를 제안한다. 기존 HMC의 구현에 최소한의 코드 변경으로, 상태 변수와 함께 경사 기반의 온도 갱신을 가능하게 함으로써 효율적인 탐색과 정확한 정규화 상수 추정을 달성한다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a powerful Markov chain Monte Carlo (MCMC) method for performing approximate inference in complex probabilistic models of continuous variables. In common with many MCMC methods, however, the standard HMC approach performs poorly in distributions with multiple isolated modes. We present a method for augmenting the Hamiltonian system with an extra continuous temperature control variable which allows the dynamic to bridge between sampling a complex target distribution and a simpler unimodal base distribution. This augmentation both helps improve mixing in multimodal targets and allows the normalisation constant of the target distribution to be estimated. The method is simple to implement within existing HMC code, requiring only a standard leapfrog integrator. We demonstrate experimentally that the method is competitive with annealed importance sampling and simulating tempering methods at sampling from challenging multimodal distributions and estimating their normalising constants.

연구 동기 및 목표

• 고립된 모드를 가진 다모드 목표 분포에서 표준 HMC의 열악한 혼합 문제를 해결하기 위해.
• 모델 비교에 핵심적인 역할을 하는 복잡한 목표 분포의 정규화 상수를 정확하게 추정하기 위해.
• 기존 HMC 코드에 쉽게 통합할 수 있고 이산적 온도 스케줄을 피하는 단순하고 즉시 사용 가능한 확장 기법을 개발하기 위해.
• 냉각 중요 샘플링과 시뮬레이티드 템퍼링에 비해 샘플링 효율성과 정규화 상수 추정 성능을 향상시키기 위해.
• 적응형 HMC 방법(예: NUTS)과의 통합을 위한 더 나은 연속적 온도 제어를 활용하기 위해.

제안 방법

• 표준 HMC 상태 공간에 연속적인 역온도 변수 β를 추가하여 상태 x와 β에 대한 동시 동역학을 허용한다.
• 기본 분포와 목표 분포 사이를 β를 통해 부드럽게 보간하는 공동 잠재 에너지 함수를 정의한다.
• 확장된 공간에서 해밀토니안 역학을 시뮬레이션하기 위해 표준 리프플로그 적분기를 사용하며, 이는 경사 기반 갱신을 가능하게 한다.
• 세부 균형과 정상 분포의 정확성을 확보하기 위해 공동 공간에서 메트로폴리스-해스팅스 수용-기각 단계를 적용한다.
• 두 가지 변형으로 적용한다: 동시 CT-HMC(상태 x와 β를 동시에 갱신)와 격리 CT-HMC(절단된 지수 분포 샘플링을 통한 별도의 β 갱신).
• 혼합 성능 향상을 위해 변분 근사법을 β의 제안 분포로 활용하면서도, 극한에서 점근적 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 표준 HMC에 비해 연속적인 온도 변수가 다모드 분포에서 혼합 성능을 향상시키는가?
• RQ2 공동 연속 온도 조절이 목표 분포의 정규화 상수를 정확하게 추정할 수 있는가?
• RQ3 냉각 중요 샘플링과 시뮬레이티드 템퍼링에 비해 CT-HMC는 샘플링 효율성과 정규화 상수 추정에서 어떻게 성능을 내는가?
• RQ4 CT-HMC는 기존 HMC 기반 확률 프로그래밍 프레임워크에 원활하게 통합될 수 있는가?
• RQ5 계산 효율성과 샘플링 품질 측면에서 이산적 템퍼링 방식에 비해 연속적 온도 제어가 우수한가?

주요 결과

• CT-HMC는 도전적인 다모드 분포에서 냉각 중요 샘플링과 시뮬레이티드 템퍼링과 경쟁하는 성능을 달성한다.
• 이 방법은 일반 HMC에서 추정이 어려운 목표 분포의 정규화 상수를 정확하게 추정할 수 있다.
• GPU 환경에서 동시 CT-HMC는 이산적 카테고리 샘플링으로 인한 비용을 피함으로써 시뮬레이티드 템퍼링을 능가한다.
• 격리 CT-HMC는 온도 제어 질량 파라미터의 튜닝이 필요 없으며, 실험 결과 동시 CT-HMC와 유사하거나 더 뛰어난 샘플링 효율성을 달성한다.
• 기존 HMC 코드베이스 내에서 구현하기가 단순하며, 표준 리프플로그 적분기만 필요하고 핵심 HMC 논리에 대한 변경 사항이 없다.
• 적응형 HMC 변형(예: NUTS)은 확장된 공간에 직접 적용 가능하여 수동 튜닝 없이 블랙박스 온도 조절 추론를 가능하게 한다.