[논문 리뷰] Deep Markov Chain Monte Carlo

Babak Shahbaba, Luis Martinez Lomeli외 2명|arXiv (Cornell University)|2019. 10. 13.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 6

한 줄 요약

이 논문은 고차원 매개변수 공간을 저차원 잠복 공간으로 매핑하기 위해 오토에인코더를 사용하는 계산적으로 효율적인 베이지안 추론 방법인 딥 마르코프 체인 몬테카를로(Deep MCMC)를 제안한다. 여기서 해밀턴 몬테카를로(HMC) 샘플링이 수행된다. 이 방법은 샘플링을 축소된 공간에서 수행함으로써 더 빠른 속도를 제공하며, 비선형 변환에 의한 부피 변화를 보정하는 메트로폴리스-해스팅스 수용 확률을 통해 정확도를 유지한다. 실증 결과는 고차원 문제에서 상당한 계산적 이점을 보여준다.

ABSTRACT

We propose a new computationally efficient sampling scheme for Bayesian inference involving high dimensional probability distributions. Our method maps the original parameter space into a low-dimensional latent space, explores the latent space to generate samples, and maps these samples back to the original space for inference. While our method can be used in conjunction with any dimension reduction technique to obtain the latent space, and any standard sampling algorithm to explore the low-dimensional space, here we specifically use a combination of auto-encoders (for dimensionality reduction) and Hamiltonian Monte Carlo (HMC, for sampling). To this end, we first run an HMC to generate some initial samples from the original parameter space, and then use these samples to train an auto-encoder. Next, starting with an initial state, we use the encoding part of the autoencoder to map the initial state to a point in the low-dimensional latent space. Using another HMC, this point is then treated as an initial state in the latent space to generate a new state, which is then mapped to the original space using the decoding part of the auto-encoder. The resulting point can be treated as a Metropolis-Hasting (MH) proposal, which is either accepted or rejected. While the induced dynamics in the parameter space is no longer Hamiltonian, it remains time reversible, and the Markov chain could still converge to the canonical distribution using a volume correction term. Dropping the volume correction step results in convergence to an approximate but reasonably accurate distribution. The empirical results based on several high-dimensional problems show that our method could substantially reduce the computational cost of Bayesian inference.

연구 동기 및 목표

• 기존 MCMC 방법이 고차원 베이지안 추론에서 계산적으로 비효율적인 문제를 해결하기 위해.
• 고차원 매개변수 공간의 저차원 구조를 활용하여 더 빠른 샘플링을 위해.
• 차원 감소와 해밀턴 역학을 결합한 확장 가능한 샘플링 프레임워크를 개발하기 위해.
• 정확도와 계산 속도의 균형을 맞추어 MCMC와 변분 베이즈의 실용적인 대안을 제공하기 위해.
• 빅데이터 환경에서 복잡한 사후 분포를 효율적으로 탐색할 수 있도록 하기 위해.

제안 방법

• 학습된 오토에인코더를 사용하여 원래의 고차원 매개변수 공간을 저차원 잠복 공간으로 매핑한다.
• 원래 공간의 초기 샘플 세트를 사용하여 오토에인코더의 인코더 및 디코더 구성 요소를 학습시킨다.
• 인코더는 원래 공간의 초기 상태를 잠복 공간 내의 점으로 매핑하며, 이 점이 HMC 샘플링의 시작점이 된다.
• HMC는 잠복 공간에서 적용되어 새로운 상태를 생성하며, 이는 오토에인코더의 디코더를 사용하여 원래 공간으로 복원된다.
• 복원된 점은 메트로폴리스-해스팅스 제안으로 사용되며, 비선형 변환에 의한 부피 변화를 보정한 수용 확률이 적용된다.
• 부피 보정이 적용되면 방법은 세부 균형을 유지하고 진정한 사후 분포로 수렴하며, 속도를 높이기 위해 생략할 경우 근사 사후 분포로 수렴한다.

실험 결과

연구 질문

• RQ1 오토에인코더를 통한 차원 감소가 고차원 베이지안 모델에서 MCMC 샘플링의 효율성을 향상시킬 수 있는가?
• RQ2 기존 공간에서 유도된 역학은 표준 HMC와 혼합성 및 수렴성 측면에서 어떻게 비교되는가?
• RQ3 부피 보정 항을 생략할 경우 샘플링 과정의 정확도와 계산 비용에 어떤 영향을 미치는가?
• RQ4 잠복 공간 표현이 복잡한 모델에서 사후 분포의 본질적 구조를 어느 정도 잘 포착할 수 있는가?
• RQ5 실제 및 시뮬레이션된 고차원 문제에서 제안된 방법은 표준 MCMC 및 변분 베이즈와 성능가지고 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 딥 MCMC 방법은 고차원 베이지안 추론에서 HMC를 저차원 잠복 공간에서 수행함으로써 계산 비용을 크게 감소시킨다.
• 부피 보정이 적용되면 방법은 세부 균형을 보장하고 진정한 사후 분포로 수렴한다.
• 부피 보정 단계를 생략하면 근사 사후 분포로 수렴하게 되며, 이는 여전히 합리적으로 정확하고 계산 비용이 더 낮다.
• 시뮬레이션 및 실데이터에 대한 실증 결과는 표준 MCMC 방법에 비해 상당한 속도 향상을 보여준다.
• 이 방법은 고차원 매개변수 공간의 저차원 구조를 효과적으로 활용하여 더 빠른 혼합성과 더 효율적인 탐색을 가능하게 한다.
• 잠복 공간을 학습하기 위해 오토에인코더를 사용함으로써 MCMC 샘플링을 위한 탄력적이고 데이터 기반의 차원 감소 방법을 제공한다.