[論文レビュー] Non-Reversible Parallel Tempering: an Embarassingly Parallel MCMC Scheme

Saifuddin Syed, Alexandre Bouchard‐Côté+2 more|arXiv (Cornell University)|May 8, 2019

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、分岐的決定的ダイナミクスを活用することで、従来の可逆的スキームよりも優れた性能を示す非可逆的並列温度付けMCMC手法を提案する。この手法により、高次元の事後分布における混合速度が向上し、サンプリング効率が向上する。理論的スケーリング極限を用いて最適な冷却スケジュールを導出し、そのスケジュールの反復的近似を提案する。

ABSTRACT

Parallel tempering (PT) methods are a popular class of Markov chain Monte Carlo schemes used to sample complex high-dimensional probability distributions. They rely on a collection of $N$ interacting auxiliary chains targeting tempered versions of the target distribution to improve the exploration of the state-space. We provide here a new perspective on these highly parallel algorithms and their tuning by identifying and formalizing a sharp divide in the behaviour and performance of reversible versus non-reversible PT schemes. We show theoretically and empirically that a class of non-reversible PT methods dominates its reversible counterparts and identify distinct scaling limits for the non-reversible and reversible schemes, the former being a piecewise-deterministic Markov process and the latter a diffusion. These results are exploited to identify the optimal annealing schedule for non-reversible PT and to develop an iterative scheme approximating this schedule. We provide a wide range of numerical examples supporting our theoretical and methodological contributions. The proposed methodology is applicable to sample from a distribution $\pi$ with a density $L$ with respect to a reference distribution $\pi_0$ and compute the normalizing constant. A typical use case is when $\pi_0$ is a prior distribution, $L$ a likelihood function and $\pi$ the corresponding posterior.

研究の動機と目的

• 高次元で複雑な事後分布における可逆的並列温度付けの非効率性を解決すること。
• 可逆的と非可逆的PTスキームの間の性能格差を特定し、形式化すること。
• スケーリング極限を用いて、非可逆的PTの理論的最適冷却スケジュールを導出すること。
• 実装に適した実用的スケジュールの反復的近似アルゴリズムを開発すること。
• 複雑な尤度関数を伴うベイズ推論において、正規化定数の正確な計算を可能にすること。

提案手法

• 可逆的メトロポリス・ハスティングス更新を非可逆的ダイナミクスに置き換える非可逆的PTスキームを提案し、これにより分岐的決定的マルコフ過程が得られる。
• 明確なスケーリング極限を特定する：非可逆的PTは分岐的決定的過程に収束するが、可逆的PTは拡散過程に収束する。
• 非可逆的スキームのスケーリング極限を分析することで、非可逆的PTの最適冷却スケジュールを導出する。
• 理論的に最適な冷却スケジュールを実用的に近似する反復的アルゴリズムを導入する。
• 複雑で高次元な尤度関数を持つ事後分布からのサンプリングにこの手法を適用する。
• マージナル尤度計算を用いて、事後分布の正規化定数を推定するためのスキームを適用する。

実験結果

リサーチクエスチョン

• RQ1 非可逆的PTは、混合速度と探索効率の点で可逆的PTに比べてどのように異なるか？
• RQ2 非可逆的PTと可逆的PTスキームのスケーリング極限はそれぞれどのように異なるか？
• RQ3 非可逆的PTのスケーリング極限に基づいて、最適な冷却スケジュールを導出できるか？
• RQ4 最適スケジュールの反復的近似は、実際の応用においてどの程度の性能を示すか？
• RQ5 高次元設定において、非可逆的PTは事後分布サンプリングおよび正規化定数推定をどの程度改善するか？

主な発見

• 非可逆的PTは、理論的にも実験的にも、可逆的PTに比べて混合速度と探索効率において顕著に優れている。
• 非可逆的PTのスケーリング極限は分岐的決定的マルコフ過程であるのに対し、可逆的PTのスケーリング極限は拡散過程である。
• 非可逆的PTの最適冷却スケジュールは、その分岐的決定的スケーリング極限から導出される。
• 最適スケジュールの反復的近似は、多様な数値例において優れた性能を示す。
• 本手法により、複雑な尤度関数を伴うベイズ推論において、正規化定数の正確かつ効率的な計算が可能になる。
• 提案されたスキームは、基準測度π₀に関して密度Lを持つ一般の事後分布に適用可能である。