[논문 리뷰] Semi-Separable Hamiltonian Monte Carlo for Inference in Bayesian Hierarchical Models

Yichuan Zhang, Charles Sutton|arXiv (Cornell University)|2014. 06. 15.

Markov Chains and Monte Carlo Methods참고 문헌 16인용 수 10

한 줄 요약

이 논문은 매개변수와 초매개변수 간의 상관관계가 강한 계층적 모델에서 더 빠르고 효율적인 샘플링을 가능하게 하는 계산적으로 효율적인 리만 다양체 HMC 변종인 반분리형 해밀턴 몽테카를로(SSHMC)를 제안한다. 이는 매개변수와 초매개변수에 대한 연합 해밀토니안에 존재하는 반분리 구조를 활용하며, 해밀토니안을 두 개의 간단한 분리 가능한 성분으로 분해하고, 블록별로 번갈아가며 실행하는 루프프 적분기(Alternating Blockwise Leapfrog Integrator)를 사용함으로써 기존의 게비스 샘플링보다 더 빠른 혼합 속도와, 게비스 내에서의 RMHMC보다 높은 초당 유효 표본 크기(ESS/s)를 달성한다.

ABSTRACT

Sampling from hierarchical Bayesian models is often difficult for MCMC methods, because of the strong correlations between the model parameters and the hyperparameters. Recent Riemannian manifold Hamiltonian Monte Carlo (RMHMC) methods have significant potential advantages in this setting, but are computationally expensive. We introduce a new RMHMC method, which we call semi-separable Hamiltonian Monte Carlo, which uses a specially designed mass matrix that allows the joint Hamiltonian over model parameters and hyperparameters to decompose into two simpler Hamiltonians. This structure is exploited by a new integrator which we call the alternating blockwise leapfrog algorithm. The resulting method can mix faster than simpler Gibbs sampling while being simpler and more efficient than previous instances of RMHMC.

연구 동기 및 목표

• 모델 매개변수와 초매개변수 간 강한 상관관계로 인해 MCMC 샘플링 속도가 느려지는 베이지안 계층적 모델의 문제를 해결하기 위해.
• 대규모 문제에 대해 효과는 있지만 계산 비용이 높은 리만 다양체 HMC(RMHMC)의 더 효율적인 대안을 개발하기 위해.
• 매개변수와 초매개변수에 대한 연합 해밀토니안의 특정 구조적 특성인 반분리성(semi-separability)을 활용하여 더 빠르고 단순한 샘플링을 가능하게 하기 위해.
• 특히 복잡한 사후 기하학적 구조를 가진 모델에서 초당 유효 표본 크기(ESS/s) 측면에서 샘플링 효율성을 향상시키기 위해.

제안 방법

• 매개변수와 초매개변수에 대한 연합 해밀토니안에서 반분리성을 유도하는 새로운 질량 행렬 구조를 제안한다.
• 매개변수와 초매개변수 블록을 번갈아가며 별도의 루프프 단계로 업데이트하는 새로운 적분기인 블록별로 번갈아가는 루프프 알고리즘(ABLA)을 도입한다.
• 블록 대각 행렬 메트릭을 사용하여, 매개변수에 대해서는 우도의 역헤시안, 초매개변수에 대해서는 항등행렬을 사용함으로써 계산을 단순화한다.
• 다른 블록에 대해 서로 다른 수의 단계를 사용하는 하이브리드 루프프 기법을 적용하여 정확성과 효율성을 균형 잡는다 (예: 매개변수 5단계, 초매개변수 2단계).
• 세부 균형 조건을 유지하고 정확한 대상 분포를 보존하기 위해 메트로폴리스-한스터 맥락을 적용한다.
• 연합 해밀토니안을 두 개의 분리 가능한 성분으로 분해하여, 매개변수용 성분과 초매개변수용 성분으로 나누어 블록 단위 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층적 베이지안 모델에서 표준 HMC와 게비스 샘플링보다 더 나은 혼합 속도를 달성할 수 있는 단순화된 RMHMC 방법이 존재하는가?
• RQ2 연합 해밀토니안의 반분리성 구조를 활용하면 일반 RMHMC보다 더 효율적인 적분기가 도출되는가?
• RQ3 제안된 블록별로 번갈아가는 루프프 알고리즘이 전체 RMHMC에 비해 계산 비용을 줄이면서도 정확성을 유지할 수 있는가?
• RQ4 다양한 계층적 모델에서 SSHMC는 게비스 내 RMHMC와 비교해 초당 유효 표본 크기(ESS/s) 측면에서 어떻게 성능을 내는가?

주요 결과

• 가우시안 펌프 모델에서 SSHMC는 게비스 내 RMHMC에 비해 거의 두 배에 가까운 초당 유효 표본 크기(ESS/s)를 달성했다.
• 32×32 격자를 가진 로그-가우시안 코크스 프로세스(LGCPP) 모델에서 SSHMC는 게비스 내 RMHMC보다 시간당 약 6배 더 많은 유효 표본을 생성했다.
• 모든 벤치마크에서 일관된 사후 표본을 생성하여 정확한 대상 분포로 수렴함을 확인했다.
• 루프프 단계 수를 줄여도 높은 효율성을 유지하여 강건성과 확장성을 입증했다.
• 블록별로 번갈아가는 루프프 알고리즘이 두 해밀토니안 간 공통 항목을 공유함으로써 게비스 샘플링보다 초매개변수 공간에서 더 빠른 혼합을 가능하게 했다.
• 모든 테스트된 모델에서 표준 HMC와 게비스 내 RMHMC에 비해 SSHMC가 초당 유효 표본 크기(ESS/s) 측면에서 뛰어난 계산 효율성을 보였다. 이는 그 우수한 성능을 확인한다.