[論文レビュー] Binary Bouncy Particle Sampler

Ari Pakman|arXiv (Cornell University)|Nov 2, 2017

Bayesian Methods and Mixture Models参考文献 10被引用数 5

ひとこと要約

本稿では、区分的微分可能なポテンシャルを用いて連続変数で拡張することで、バイナリ分布からのサンプリングを可能にする、拒否なしで非可逆なMCMCアルゴリズム「バイナリ・バウンシング・パーティクル・サンプラー（BPS）」を提案する。ガウス的または指数的拡張を用いて、バイナリ・マークフ・ランダムフィールドにBPSフレームワークを拡張し、混合性能がバイナリハミルトニアンモンテカルロ（HMC）を上回ることを示した。低次元設定では指数的拡張が好ましく、高次元ではガウス的拡張が優れている。

ABSTRACT

The Bouncy Particle Sampler is a novel rejection-free non-reversible sampler for differentiable probability distributions over continuous variables. We generalize the algorithm to piecewise differentiable distributions and apply it to generic binary distributions using a piecewise differentiable augmentation. We illustrate the new algorithm in a binary Markov Random Field example, and compare it to binary Hamiltonian Monte Carlo. Our results suggest that binary BPS samplers are better for easy to mix distributions.

研究の動機と目的

• バイナリ分布および区分的微分可能な分布へのバウンシング・パーティクル・サンプラー（BPS）の拡張を目的とし、離散分布からの効率的サンプリングを可能にする。
• バイナリ分布を区分的微分可能な連続分布に変換する汎用的な拡張ベースの手法を開発し、BPSに適した形にすることを目的とする。
• さまざまなモデルの複雑さと次元性の下で、バイナリBPSとバイナリHMCの混合効率および収束速度の性能を比較することを目的とする。
• 低次元と高次元の問題領域に応じて最適な拡張方式（ガウス的 vs. 指数的）を同定することを目的とする。

提案手法

• バイナリ分布 $ p({\bf s}) $ を、区分的微分可能なポテンシャル（例：$ p_G({\bf y}|{f s}) $ や $ p_E({\bf y}|{f s}) $）を用いて連続変数 $ {\bf y} $ で拡張し、連合分布 $ p({\bf s}, {\bf y}) $ を構築する。
• ガウス的拡張では $ U({\bf y}) = \frac{{\bf y} \cdot {\bf y}}{2} - \log p({\bf s}_{\bf y}) + \text{const} $ を、指数的拡張では $ U({\bf y}) = |{\bf y}| - \log p({\bf s}_{\bf y}) + \text{const} $ を、連合ポテンシャルエネルギーとして定義する。
• 速度再設定とポisson分布で発生するイベントに基づく勾配 $ [{\bf v} \cdot \nabla U({\bf y})]_+ $ における反射を伴う、区分的決定的マコフ過程をシミュレートすることで、拡張された連続空間にBPSアルゴリズムを適用する。
• 次回の反射イベントまでの時間をサンプリングするために逆CDF法を用い、連続時間における正確なシミュレーションを保証する。
• 拡張された分布からサンプリングし、$ \bf y $ について周辺化することで、元のバイナリ分布からのサンプリングを実現する。
• C++で実装し、MATLABのラッパーを併用し、同一の計算予算を用いてバイナリHMCと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 区分的微分可能なポテンシャルによる連続的拡張を用いて、バウンシング・パーティクル・サンプラーを区分的微分可能かつバイナリ分布に拡張可能か？
• RQ2 さまざまなモデルの複雑さにおけるバイナリBPSの混合効率は、バイナリHMCと比べてどのように異なるか？
• RQ3 ガウス的拡張と指数的拡張のどちらが、さまざまな次元数においてより優れた混合性能を示すか？
• RQ4 容易に混合する分布において、バイナリBPSはバイナリHMCを上回る性能を示すか？その条件は何か？

主な発見

• 低次元問題（$ d = 10 $）では、指数的拡張を用いたバイナリBPSが、容易に混合する状況（$ \sigma_{\bf M} = 0.2 $）において、$ \mathbb{E}[s_i] $ および $ \mathbb{E}[s_i, s_j] $ の平均二乗誤差（MSE）において、バイナリHMCおよびガウス的BPSを上回る。
• 高次元設定（$ d = 100 $）では、ガウス的拡張を用いたバイナリBPSが、容易に混合する状況で最小のMSEを達成したが、難易度の高い、高ばらつきを示す状況（$ \sigma_{\bf M} = 2 $）ではバイナリHMCが優位であった。
• 低次元で容易に混合する状況では、指数的拡張を用いたバイナリBPSが支配的であり、拡張方式の選択が次元数に依存することが示唆された。
• 容易に混合する分布において、バイナリBPSは一貫してバイナリHMCよりも優れた混合性能を示し、ターゲット分布が滑らかである場合には非可逆的かつ拒否なしのダイナミクスが有利であることが示された。
• 適切な拡張を用いることで、さまざまな計算予算においてもバイナリBPSの性能は安定しており、容易な状況では一貫して優位性を示した。