[論文レビュー] A Unifying Framework for Devising Efficient and Irreversible MCMC Samplers

Yi-An Ma, Tianqi Chen+2 more|arXiv (Cornell University)|Aug 21, 2016

Markov Chains and Monte Carlo Methods被引用数 6

ひとこと要約

この論文は、連続的ダイナミクスとジャンプ過程を組み合わせることで、効率的で非可逆的なマルコフ連鎖モンテカルロ（MCMC）サンプラーを設計する統一的枠組みを提案する。連続的ダイナミクスには正定値の拡散行列 𝐷（可逆的成分）と歪対称のカール行列 𝑄（非可逆的成分）を、ジャンプ過程には対称核 𝑆 と反対称核 𝐴 を用い、正しい定常分布を保証するとともに、スケーラブルで非可逆的なサンプリングを可能にし、混合性能を向上させる。

ABSTRACT

We propose a framework for Markov chain Monte Carlo using both continuous dynamics and jump processes that enable the development of efficient, irreversible samplers. For each component, we decompose the dynamics into reversible and irreversible processes, and with a parameterization that is easy to specify while ensuring the correct stationary distribution. For the continuous dynamic samplers, we prove that all such samplers can be encoded by a positive semidefinite diffusion matrix ${\bf D}$ and skew-symmetric curl matrix ${\bf Q}$, where ${\bf D}$ determines the reversible part and ${\bf Q}$ drives the irreversible process. Using our proposed parameterization, it is straightforward to ensure that the target distribution is preserved. We likewise discuss scalable variants using stochastic gradients for large-scale Bayesian inference, and use our framework to propose a Riemann version of stochastic gradient Hamiltonian Monte Carlo. For samplers following jump processes, we prove that such samplers can be represented by a symmetric kernel $S$ and an anti-symmetric kernel $A$, with straightforward conditions to satisfy to preserve the target distribution. Paralleling the continuous framework, $S$ determines the reversible part and $A$ the irreversible process. As a practical algorithm, we propose an implementation akin to Metropolis Hastings-with the same ease and efficiency-but allowing for irreversible dynamics. In our experiments, we demonstrate the benefits of such irreversibility across a broad range of target distributions. Finally, we combine the frameworks and show how one can use the continuous dynamics as a proposal distribution in the irreversible jump sampler. This can be viewed either as a method for correcting for bias in the discretized continuous dynamics or as a method for incorporating geometric information into the irreversible jump sampler.

研究の動機と目的

• 効率的で非可逆的なMCMCサンプラーを構築する一般枠組みを開発し、混合性能と収束性を向上させること。
• 正しいターゲット分布を保持しつつ、サンプリング効率を高める非可逆的MCMC手法の設計という課題に取り組むこと。
• 連続的ダイナミクスとジャンプ過程を、より広範な適用性を持つ一様なパラメータ化枠組みに統合すること。
• 特に大規模ベイジアン問題に対して、確率的勾配を用いたスケーラブルな推論を可能にすること。
• 連続的ダイナミクスを提案分布として用いることで、非可逆的サンプラーに幾何的情報を統合すること。

提案手法

• 正定値の拡散行列 𝐷（可逆的成分）と歪対称のカール行列 𝑄（非可逆的成分）を用いて連続的ダイナミクスをパラメータ化し、正しい定常分布を保証すること。
• すべてのこのようなサンプラーがペア (𝐷, 𝑄) によって記述されることを証明し、𝑄 が非可逆的な漂流を導入することで混合性能が向上することを示すこと。
• 対称核 𝑆（可逆的）と反対称核 𝐴（非可逆的）を用いたジャンプ過程のサンプラーを定式化し、ターゲット分布を保つための条件を提示すること。
• 非可逆的ダイナミクスを組み込んだメトロポリス・ハスティングスに類似したアルゴリズムを提案し、標準的なMHと同等の簡便さと効率性を維持しながら、非可逆的遷移を可能にすること。
• 多様体幾何に拡張した確率的勾配ハミルトニアンモンテカルロのリーマン版を導入すること。
• 非可逆的ジャンプサンプラーにおいて、連続的ダイナミクスを提案分布として組み合わせ、バイアス補正や幾何的強化を実現すること。

実験結果

リサーチクエスチョン

• RQ1 正しい定常分布を保ちつつ、非可逆的MCMCサンプラーを体系的に構築する方法は何か？
• RQ2 連続時間MCMCにおける非可逆的ダイナミクスにおいて、効率性と正しさを両立させるパラメータ化は何か？
• RQ3 ジャンプ過程のサンプラーも、連続的ダイナミクスと同様に非可逆性と分布保存性の保証を満たすように設計可能か？
• RQ4 この枠組みは、確率的勾配を用いたスケーラブルなベイジアン推論にどのように拡張可能か？
• RQ5 連続的ダイナミクスは、ジャンプベースのサンプラーにおける効果的で非可逆的な提案分布として機能可能か？

主な発見

• 正定値の 𝐷 と歪対称の 𝑄 でパラメータ化された任意のMCMCサンプラーは、正しいターゲット分布を保証するとともに、効率的で非可逆的なサンプリングを可能にする。
• 連続的ダイナミクスにおける歪対称行列 𝑄 の使用は、多様なターゲット分布に対して、実験的にも混合性能の向上と収束の高速化をもたらす。
• 対称核 𝑆 と反対称核 𝐴 でパラメータ化されたジャンプ過程のサンプラーも、ターゲット分布を保つことが保証され、実装にあたっては明確な条件が適用可能である。
• 提案された確率的勾配ハミルトニアンモンテカルロのリーマン版は、大規模なベイジアン推論タスクにおいて優れた性能を達成した。
• 非可逆的ジャンプサンプラーにおいて連続的ダイナミクスを提案分布として組み込むことで、バイアス補正や幾何的構造の統合が可能となり、全体のサンプリング効率が向上した。