[논문 리뷰] A Unifying Framework for Devising Efficient and Irreversible MCMC Samplers

Yi-An Ma, Tianqi Chen외 2명|arXiv (Cornell University)|2016. 08. 21.

Markov Chains and Monte Carlo Methods인용 수 6

한 줄 요약

이 논문은 연속 동역학과 점프 과정을 조합하여 효율적이고 비가역적인 마르코프 체인 몬테카를로(MCMC) 샘플러를 설계하기 위한 통합 프레임워크를 제안한다. 연속 동역학은 비음성 정반비대칭 행렬 𝐷(가역성 부분)과 비대칭 컬 행렬 𝑄(비가역성 부분)으로 매개변수화하고, 점프 과정은 대칭 핵심 𝑆(가역성)과 반대칭 핵심 𝐴(비가역성)으로 매개변수화하여 정확한 정적 분포를 보장하면서도 확장 가능한 비가역 샘플링과 향상된 혼합 성능을 가능하게 한다.

ABSTRACT

We propose a framework for Markov chain Monte Carlo using both continuous dynamics and jump processes that enable the development of efficient, irreversible samplers. For each component, we decompose the dynamics into reversible and irreversible processes, and with a parameterization that is easy to specify while ensuring the correct stationary distribution. For the continuous dynamic samplers, we prove that all such samplers can be encoded by a positive semidefinite diffusion matrix ${\bf D}$ and skew-symmetric curl matrix ${\bf Q}$, where ${\bf D}$ determines the reversible part and ${\bf Q}$ drives the irreversible process. Using our proposed parameterization, it is straightforward to ensure that the target distribution is preserved. We likewise discuss scalable variants using stochastic gradients for large-scale Bayesian inference, and use our framework to propose a Riemann version of stochastic gradient Hamiltonian Monte Carlo. For samplers following jump processes, we prove that such samplers can be represented by a symmetric kernel $S$ and an anti-symmetric kernel $A$, with straightforward conditions to satisfy to preserve the target distribution. Paralleling the continuous framework, $S$ determines the reversible part and $A$ the irreversible process. As a practical algorithm, we propose an implementation akin to Metropolis Hastings-with the same ease and efficiency-but allowing for irreversible dynamics. In our experiments, we demonstrate the benefits of such irreversibility across a broad range of target distributions. Finally, we combine the frameworks and show how one can use the continuous dynamics as a proposal distribution in the irreversible jump sampler. This can be viewed either as a method for correcting for bias in the discretized continuous dynamics or as a method for incorporating geometric information into the irreversible jump sampler.

연구 동기 및 목표

• 정적 분포를 정확히 유지하면서 혼합 성능과 수렴 속도를 향상시키는 효율적이고 비가역적인 MCMC 샘플러를 설계하기 위한 일반적 프레임워크를 개발하는 것.
• 정확한 목표 분포를 유지하면서 샘플링 효율성을 향상시키는 비가역 MCMC 방법을 설계하는 데 도전하는 것.
• 더 넓은 적용 가능성을 위해 연속 동역학과 점프 과정을 하나의 매개변수화된 프레임워크 안에 통합하는 것.
• 특히 대규모 베이지안 문제에 적합한 스케줄러블 추론을 가능하게 하기 위해 확률적 기울기를 활용하는 것.
• 연속 동역학을 제안 기반 메커니즘으로 삼아 기하 정보를 비가역 샘플러에 통합하는 것.

제안 방법

• 비음성 정반비대칭 행렬 𝐷(가역성 부분)과 비대칭 컬 행렬 𝑄(비가역성 부분)을 사용해 연속 동역학을 매개변수화하여 정확한 정적 분포를 보장하는 것.
• 모든 이러한 샘플러가 쌍 (𝐷, 𝑄)로 표현되며, 𝑄가 혼합 성능을 향상시키는 비가역성 이동을 도입한다는 것을 증명하는 것.
• 대칭 핵심 𝑆(가역성)과 반대칭 핵심 𝐴(비가역성)를 사용해 점프 과정 샘플러를 설정하고, 목표 분포를 유지하기 위한 조건을 설정하는 것.
• 비가역 동역학을 포함한 메트로폴리스-하스팅스 유사 알고리즘을 제안하여 표준 MH와 동일한 용이성과 효율성을 유지하면서도 비가역 전이를 가능하게 하는 것.
• 기하학적 다양체 구조로의 확장을 통해 스케줄러블 기울기 히브리지안 몬테카를로의 리만형 버전을 제안하는 것.
• 비가역 점프 샘플러에서 연속 동역학을 제안 분포로 조합하여 편향 보정 또는 기하학적 강화를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 정확한 정적 분포를 유지하면서도 체계적으로 비가역 MCMC 샘플러를 구성할 수 있는 방법은 무엇인가?
• RQ2 비가역 동역학을 포함한 연속 시간 MCMC에서 효율성과 정확성을 동시에 확보하기 위한 매개변수화는 무엇인가?
• RQ3 점프 과정 샘플러도 연속 동역학과 유사한 비가역성과 분포 유지 보장을 갖출 수 있는가?
• RQ4 스케줄러블 베이지안 추론을 위해 확률적 기울기를 활용하는 프레임워크는 어떻게 확장될 수 있는가?
• RQ5 연속 동역학은 점프 기반 샘플러에서 효과적인 비가역 제안 기반 메커니즘으로 기능할 수 있는가?

주요 결과

• 비음성 정반비대칭 행렬 𝐷와 비대칭 컬 행렬 𝑄로 매개변수화된 모든 MCMC 샘플러는 목표 분포를 정확히 유지하면서도 효율적이고 비가역적인 샘플링을 가능하게 한다.
• 연속 동역학에서 비대칭 컬 행렬 𝑄의 사용은 다양한 목표 분포에 대해 실증 평가에서 혼합 성능 향상과 더 빠른 수렴을 이끌어낸다.
• 대칭 핵심 𝑆와 반대칭 핵심 𝐴로 매개변수화된 점프 과정 샘플러 역시 목표 분포를 유지하며, 구현에 적합한 조건이 간단히 설정된다.
• 제안된 스케줄러블 기울기 히브리지안 몬테카를로의 리만형 버전은 대규모 베이지안 추론 과제에서 뛰어난 성능을 달성한다.
• 비가역 점프 샘플러에서 연속 동역학을 제안 분포로 조합함으로써 효과적인 편향 보정과 기하학적 구조 통합이 가능해져 전체 샘플링 효율성이 향상된다.