[논문 리뷰] Piecewise-Deterministic Markov Chain Monte Carlo

Paul Vanetti, Alexandre Bouchard‐Côté외 2명|arXiv (Cornell University)|2017. 07. 17.

Markov Chains and Monte Carlo Methods참고 문헌 33인용 수 68

한 줄 요약

이 논문은 목표 구조를 활용하고 불변 분포를 보존하면서 정확한 해밀토니언 흐름과 비가역적 비연속-시간 스킴을 사용하는 새로운 연속시간 PDMC 방법을 제안한다.

ABSTRACT

A novel class of non-reversible Markov chain Monte Carlo schemes relying on continuous-time piecewise-deterministic Markov Processes has recently emerged. In these algorithms, the state of the Markov process evolves according to a deterministic dynamics which is modified using a Markov transition kernel at random event times. These methods enjoy remarkable features including the ability to update only a subset of the state components while other components implicitly keep evolving and the ability to use an unbiased estimate of the gradient of the log-target while preserving the target as invariant distribution. However, they also suffer from important limitations. The deterministic dynamics used so far do not exploit the structure of the target. Moreover, exact simulation of the event times is feasible for an important yet restricted class of problems and, even when it is, it is application specific. This limits the applicability of these techniques and prevents the development of a generic software implementation of them. We introduce novel MCMC methods addressing these shortcomings. In particular, we introduce novel continuous-time algorithms relying on exact Hamiltonian flows and novel non-reversible discrete-time algorithms which can exploit complex dynamics such as approximate Hamiltonian dynamics arising from symplectic integrators while preserving the attractive features of continuous-time algorithms. We demonstrate the performance of these schemes on a variety of applications.

연구 동기 및 목표

• 기존 PDMC 방법의 한계인 목표 구조의 비활용 및 제한된 정확한 사건 시간 시뮬레이션 등을 해결한다.
• 정확한 해밀토니언 흐름을 갖는 새로운 연속시간 알고리즘을 개발한다.
• 근사 해밀토니언 다이나믹스와 같은 복잡한 다이나믹을 활용하는 비가역적 이산시간 알고리즘을 개발한다.
• 다양한 응용 분야에서 실용적이고 확장 가능한 구현을 가능하게 하면서 목표 분포를 보존한다.

제안 방법

• 정확한 해밀토니언 흐름에 의존하는 새로운 연속시간 PDMC 알고리즘을 제안한다.
• 심플릭틱 적분기로부터의 근사 해밀토니언 다이나믹스를 활용할 수 있는 새롭고 비가역적인 이산시간 PDMC 스킴을 도입한다.
• 제안된 다이나믹스 하에서 목표 분포의 불변성을 보장한다.
• 다른 구성요소가 암묵적으로 진화하는 동안 상태 구성 요소의 일부 하위집합만 업데이트를 허용한다.
• 정지성 위반 없이 무편향 그래디언트 추정치를 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 PDMC 방법은 목표 분포의 구조를 더 효과적으로 어떻게 활용할 수 있는가?
• RQ2 정확한 해밀토니언 흐름을 PDMC에 통합하더라도 불변하는 목표를 보존할 수 있는가?
• RQ3 심플릭틱 적분기로부터의 근사 해밀토니언 다이나믹스를 활용하는 이산시간 비가역 PDMC 스킴이 정확성을 유지하면서 작동할 수 있는가?
• RQ4 이 방법들이 정확한 사건 시간으로 해결 가능한 케이스를 넘어 더 넓은 문제 계열로 일반화될 수 있는가?
• RQ5 제안된 방법들이 기존 PDMC 방법과 비교하여 다양한 응용 분야에서 어떤 성능을 보이는가?

주요 결과

• 정확한 해밀토니언 흐름을 사용하는 연속시간 PDMC 방법을 소개한다.
• 근사 해밀토니언 다이나_dynics 같은 복잡한 다이나믹스를 수용하는 비가역적인 이산시간 PDMC 스킴을 제시한다.
• 다른 구성요소가 계속 진화하는 동안 상태 구성요소의 일부 하위집합만 업데이트할 수 있다.
• 목표 분포를 보존하면서 무편향 그래디언트 추정치를 사용할 수 있어 유지보수성이 좋다.
• 저자들이 보고한 대로 다양한 응용 분야에서 성능 향상을 시연한다.