[논문 리뷰] Hamiltonian Monte Carlo Without Detailed Balance

Jascha Sohl‐Dickstein, Mayur Mudigonda외 1명|arXiv (Cornell University)|2014. 09. 18.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 37

한 줄 요약

이 논문은 래퍼런스 상태공간 표현과 세부 균형 조건을 만족하지 않는 마코프 전이를 사용함으로써 표본 기각을 제거하는 새로운 MCMC 방법인 Ladder Hamiltonian Monte Carlo(LAHMC)를 제안한다. 운동량 방향을 반전시키지 않고 더 긴, 비가역적인 궤적을 허용함으로써 LAHMC는 랜덤 워크 행동을 감소시키고 테스트 문제에서 혼합 시간을 두 배 이상 향상시킨다.

ABSTRACT

We present a method for performing Hamiltonian Monte Carlo that largely eliminates sample rejection for typical hyperparameters. In situations that would normally lead to rejection, instead a longer trajectory is computed until a new state is reached that can be accepted. This is achieved using Markov chain transitions that satisfy the fixed point equation, but do not satisfy detailed balance. The resulting algorithm significantly suppresses the random walk behavior and wasted function evaluations that are typically the consequence of update rejection. We demonstrate a greater than factor of two improvement in mixing time on three test problems. We release the source code as Python and MATLAB packages.

연구 동기 및 목표

• 표본 기각으로 인한 랜덤 워크 행동으로 인해 효율성이 떨어지는 표준 하미르톤 몽테카를로(HMC)의 문제를 해결한다.
• 세부 균형 조건은 정방향 및 역방향 전이가 동일한 확률로 발생하도록 강제하는 바람에 탐색이 최적화되지 않는 본질적 한계를 극복한다.
• 기각 없이 비가역적인 전이를 통해 더 빠른 혼합을 가능하게 하면서도 정확성(고정점 분포)을 유지하는 샘플링 방법을 개발한다.
• HMC에서 세부 균형 조건을 제거함으로써 고차원 및 악조건의 분포에서 혼합 시간과 효율성이 크게 향상될 수 있음을 입증한다.

제안 방법

• 연속적인 HMC 상태공간을 각 러닝이 특정 운동량 방향을 갖는 이산적이고 래퍼런스 형태의 구조로 표현한다.
• 고정점 방정식을 만족하지만 세부 균형 조건을 만족하지 않는 래퍼런스 상태 간의 마코프 전이 규칙을 정의함으로써 목표 분포로 수렴함을 보장한다.
• 하미르톤 역학을 사용해 에너지를 보존하는 장거리 궤적을 상태공간을 따라 생성함으로써 기각을 피하고, 유효하고 기각되지 않은 상태에 도달할 때까지 궤적을 연장한다.
• 래퍼런스를 따라 이동하는 방향을 추적하기 위해 보조 방향 변수(d ∈ {−1, 1})를 도입함으로써 비가역 전이를 가능하게 한다.
• 기각 시 운동량을 반전시키는 것을 대체로 동일한 방향으로 궤적을 계속 이어가도록 함으로써 기각이 필요 없고, 랜덤 워크 행동이 감소한다.
• 전이 행렬이 목표 분포를 고정점으로 유지하도록 구성함으로써 세부 균형 조건에 의존하지 않으면서도 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 하미르톤 몽테카를로(HMC)를 기각 없이 유지하면서도 정확한 목표 분포로 수렴시킬 수 있는가?
• RQ2 HMC에서 세부 균형 조건을 제거하면 실제로 혼합 속도가 빨라지고 랜덤 워크 행동이 감소하는가?
• RQ3 HMC 상태공간을 이산적이고 래퍼런스 기반으로 표현하면 효율적인 비가역 전이를 지원할 수 있으며, 이는 샘플링 효율성을 향상시키는가?
• RQ4 다양한 목표 분포, 특히 악조건의 분포나 거친 분포에서 제안된 방법의 성능이 표준 HMC 및 NUTS와 비교해 어떻게 되는가?
• RQ5 세부 균형 조건에 의존하는 다른 HMC 변종, 예를 들어 리만 다양체 HMC나 윈도우드 수용 방법 등에도 이 방법을 일반화할 수 있는가?

주요 결과

• LAHMC는 삼각형 테스트 문제 세 개에서 혼합 시간을 두 배 이상 향상시켰으며, 이는 산성파동으로 인해 거친 에너지 장을 가진 잘 조절된 문제를 포함한다.
• 기각 시 운동량 반전을 제거하고 동일한 방향으로 궤적을 계속 이어가므로 랜덤 워크 행동이 억제되며, 표준 HMC에서 관찰되는 효과적 단계 크기 감소 현상이 감소한다.
• 고유값이 1과 10⁵인 이차원 악조건의 가우시안 분포에서, LAHMC는 그리드 서치로 테스트한 모든 초모수 설정에서 표준 HMC를 능가한다.
• 표준 HMC에서 관찰되는 운동량 뒤집기 비율은 LAHMC에서 크게 감소하여 가역성에서 비가역성으로의 전환을 나타낸다.
• 이 방법은 초모수 설정에 대해 강건하며, 복잡한 비제곱형 에너지 장에서도 높은 효율성을 유지한다.
• LAHMC의 소스 코드는 파이썬 및 매트랩 버전으로 공개되어 재현성과 다른 HMC 변종으로의 확장 가능성을 보장한다.