[論文レビュー] Piecewise-Deterministic Markov Chain Monte Carlo

Paul Vanetti, Alexandre Bouchard‐Côté+2 more|arXiv (Cornell University)|Jul 17, 2017

Markov Chains and Monte Carlo Methods参考文献 33被引用数 68

ひとこと要約

本論文は、厳密なハミルトニアン流を用いた新規の連続時間PDMC法と、ターゲット分布の不変性を保ちながらターゲット構造を活用する非可逆な離散時間スキームを提案します。

ABSTRACT

A novel class of non-reversible Markov chain Monte Carlo schemes relying on continuous-time piecewise-deterministic Markov Processes has recently emerged. In these algorithms, the state of the Markov process evolves according to a deterministic dynamics which is modified using a Markov transition kernel at random event times. These methods enjoy remarkable features including the ability to update only a subset of the state components while other components implicitly keep evolving and the ability to use an unbiased estimate of the gradient of the log-target while preserving the target as invariant distribution. However, they also suffer from important limitations. The deterministic dynamics used so far do not exploit the structure of the target. Moreover, exact simulation of the event times is feasible for an important yet restricted class of problems and, even when it is, it is application specific. This limits the applicability of these techniques and prevents the development of a generic software implementation of them. We introduce novel MCMC methods addressing these shortcomings. In particular, we introduce novel continuous-time algorithms relying on exact Hamiltonian flows and novel non-reversible discrete-time algorithms which can exploit complex dynamics such as approximate Hamiltonian dynamics arising from symplectic integrators while preserving the attractive features of continuous-time algorithms. We demonstrate the performance of these schemes on a variety of applications.

研究の動機と目的

• 既存のPDMC法の限界（ターゲット構造の活用不足と厳密イベント時刻の制約を含む）を解消する。
• 厳密なハミルトニアン流を伴う新しい連続時間アルゴリズムを開発する。
• 近似ハミルトニアンダイナミクスのような複雑なダイナミクスを活用できる非可逆な離散時間アルゴリズムを開発する。
• 応用全般で実用的かつスケーラブルな実装を可能にしつつ、ターゲット分布を保つ。

提案手法

• 厳密なハミルトニアン流に依存する新規の連続時間PDMCアルゴリズムを提案する。
• シンプレティック積分法からの近似ハミルトニアンダイナミクスを利用できる新規の非可逆な離散時間PDMCスキームを導入する。
• 提案されたダイナミクスの下でターゲット分布の不変性を保証する。
• 他の成分が暗黙に発展する一方で、状態成分のサブセットの更新のみを許容する。
• 定常性を破らずに無偏勾配推定の使用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 PDMC法はターゲット分布の構造をより効果的にどう活用できるか？
• RQ2 厳密なハミルトニアン流をPDMCに組み込んでも不変なターゲットを維持できるか？
• RQ3 シンプレティック積分法からの近似ハミルトニアンダイナミクスを活用しつつ、離散時間の非可逆PDMCスキームの正しさを保てるか？
• RQ4 これらの方法は厳密イベント時刻解けるケースを超えるより広い問題クラスにも一般化できるか？
• RQ5 提案手法は既存のPDMC法と比較して、さまざまな応用でどのように性能を示すか？

主な発見

• 厳密なハミルトニアン流を用いる連続時間PDMC法を導入する。
• 近似ハミルトニアンダイナミクスのような複雑なダイナミクスを取り扱える非可逆な離散時間PDMCスキームを提示する。
• 他の成分が進化を続ける一方で、状態成分のサブセットのみを更新できる。
• ターゲット分布を保持しつつ、無偏勾配推定を用いたメンテナンス性の向上。
• 著者の報告によれば、さまざまな応用で性能向上を示す。