[논문 리뷰] Pseudo-Marginal Hamiltonian Monte Carlo

Johan Westerborn, Randal Douc외 1명|arXiv (Cornell University)|2016. 07. 08.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 18

한 줄 요약

이 논문은 비가역 우도가 있는 경우에도 정확한 사후 분포에서 샘플링이 가능한 새로운 MCMC 알고리즘인 가짜-모서리 해밀턴 몽테카를로(PM-HMC)를 제안한다. 이 알고리즘은 해밀턴 몽테카를로의 효율성과 가짜-모서리 방법의 편향 없는 우도 근사 기법을 결합한다. 우도가 비가역할지라도 매개변수의 주변 사후분포에서 정확한 샘플링이 가능하며, 우도 근사 정밀도 $N$이 증가함에 따라 샘플 경로와 수용 확률이 이상적인 HMC의 것에 수렴한다.

ABSTRACT

Bayesian inference in the presence of an intractable likelihood function is computationally challenging. When following a Markov chain Monte Carlo (MCMC) approach to approximate the posterior distribution in this context, one typically either uses MCMC schemes which target the joint posterior of the parameters and some auxiliary latent variables, or pseudo-marginal Metropolis--Hastings (MH) schemes. The latter mimic a MH algorithm targeting the marginal posterior of the parameters by approximating unbiasedly the intractable likelihood. However, in scenarios where the parameters and auxiliary variables are strongly correlated under the posterior and/or this posterior is multimodal, Gibbs sampling or Hamiltonian Monte Carlo (HMC) will perform poorly and the pseudo-marginal MH algorithm, as any other MH scheme, will be inefficient for high dimensional parameters. We propose here an original MCMC algorithm, termed pseudo-marginal HMC, which combines the advantages of both HMC and pseudo-marginal schemes. Specifically, the pseudo-marginal HMC method is controlled by a precision parameter N, controlling the approximation of the likelihood and, for any N, it samples the marginal posterior of the parameters. Additionally, as N tends to infinity, its sample trajectories and acceptance probability converge to those of an ideal, but intractable, HMC algorithm which would have access to the marginal posterior of parameters and its gradient. We demonstrate through experiments that pseudo-marginal HMC can outperform significantly both standard HMC and pseudo-marginal MH schemes.

연구 동기 및 목표

• 잠재 변수나 ABC 근사에 의해 우도가 비가역적인 경우 표준 MCMC 방법의 비효율성을 해결한다.
• 고차원, 상관관계가 강하거나 다모달인 사후분포에서 제거 샘플링과 표준 HMC의 한계를 극복한다.
• 비가역 우도에 대해 해밀턴 몽테카를로의 효율적 탐색 능력과 가짜-모서리 MH의 편향 없는 우도 근사 기법의 장점을 결합한 방법을 개발한다.
• 우도가 유한한 정밀도로 추정되더라도 알고리즘이 실제 매개변수의 주변 사후분포를 정확히 타깃으로 삼도록 보장한다.
• 우도 근사가 정확해질 때($N \to \infty$), 샘플 경로와 수용 확률이 이상적인 HMC 알고리즘으로 수렴하도록 보장한다.

제안 방법

• 비가역 우도의 편향 없는 추정치를 사용하는 가짜-모서리 HMC 알고리즘을 제안하며, 이는 정밀도 파라미터 $N$에 의해 제어된다.
• 우도 추정치를 HMC 해밀토니안 역학에 통합하여 HMC의 기하학적 구조를 유지하면서도 주변 사후분포를 정확히 타깃으로 삼는다.
• 누적 우도의 노이즈가 있는 기울기 추정치를 레프로그 적분기에서 사용하여, 가짜-모서리 프레임워크 하에서 알고리즘이 유효하게 유지되도록 보장한다.
• 비가역 우도를 추정하는 데 사용되는 i.i.d. 표본 수인 $N$을 통해 우도 근사의 편향을 제어한다.
• 우도 근사가 정확해질수록 수용 확률이 이상적인 HMC의 것에 수렴하도록 보장하며, 상세 균형과 정확성을 유지한다.
• 표준 HMC와 가짜-모서리 MH가 고차원성 또는 강한 상관관계로 인해 실패하는 잠재변수 모델 및 ABC와 같은 비가역 우도를 가진 모델에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 비가역 우도일 경우에도 주변 사후분포를 정확히 타깃으로 삼는 해밀턴 몽테카를로 알고리즘을 설계할 수 있는가?
• RQ2 고차원, 상관관계가 강하거나 다모달인 사후분포에서 PM-HMC의 성능은 표준 HMC 및 가짜-모서리 MH보다 어떻게 비교되는가?
• RQ3 우도 근사 정밀도 $N$이 증가함에 따라 PM-HMC의 샘플 경로와 수용 확률이 이상적인 HMC의 것에 수렴하는가?
• RQ4 복잡한 베이지안 모델에서 비가역 우도를 가진 경우 PM-HMC는 기존 방법보다 더 나은 혼합성과 낮은 자기상관을 달성할 수 있는가?
• RQ5 정밀도 파라미터 $N$은 샘플러의 효율성과 수렴성에 어떤 영향을 미치는가?

주요 결과

• 고차원, 상관관계가 강하거나 다모달인 사후분포에서 PM-HMC는 표준 HMC와 가짜-모서리 MH보다 유의미하게 더 좋은 혼합성과 낮은 자기상관을 달성한다.
• 우도 근사 정밀도 $N \to \infty$일 때 PM-HMC의 샘플 경로와 수용 확률은 이상적인 HMC의 것에 수렴하여 渐近적 효율성을 보장한다.
• 유한한 $N$에 대해서도 PM-HMC는 실제 주변 사후분포를 정확히 타깃으로 삼으며, 베이지안 일致성을 유지한다.
• 13개 매개변수를 가진 잠재변수 모델에 대한 실험 결과, PM-HMC는 효과적 샘플 크기와 추적 품질 측면에서 가짜-모서리 슬라이스 샘플링 및 조건부 중요도 샘플링을 사용한 깁스 샘플러보다 뛰어난 성능을 보였다.
• 노이즈가 있는 기울기 추정치를 사용하더라도 가짜-모서리 프레임워크 하에서 상세 균형과 정확성을 유지한다.
• 이론적 분석을 통해 수렴 결과를 뒷받침하며, 종속된 시계열에 대한 중심극한정리와 대수법칙이 적용되어 메서드의 渐近적 타당성을 뒷받침한다.