[論文レビュー] The Coordinate Sampler: A Non-Reversible Gibbs-like MCMC Sampler

Changye Wu, Christian P. Robert|arXiv (Cornell University)|Sep 10, 2018

Markov Chains and Monte Carlo Methods参考文献 24被引用数 4

ひとこと要約

この論文は、区分的決定的マコフ過程（PDMP）に基づく非可逆MCMCアルゴリズムとして、座標サンプラーを紹介する。このアルゴリズムは、正規直交基底の速度ベクトルを用い、1つの座標を順に更新する。目的分布の裾が指数的からガウス型にまで衰える場合に幾何的エルゴード性を達成し、数値実験ではZigzagサンプラーに比べて高い有効サンプルサイズの効率性を示した。

ABSTRACT

In this article, we derive a novel non-reversible, continuous-time Markov chain Monte Carlo (MCMC) sampler, called Coordinate Sampler, based on a piecewise deterministic Markov process (PDMP), which can be seen as a variant of the Zigzag sampler. In addition to proving a theoretical validation for this new sampling algorithm, we show that the Markov chain it induces exhibits geometrical ergodicity convergence, for distributions whose tails decay at least as fast as an exponential distribution and at most as fast as a Gaussian distribution. Several numerical examples highlight that our coordinate sampler is more efficient than the Zigzag sampler, in terms of effective sample size.

研究の動機と目的

• Zigzagやバウンシング・パーティクル・サンプラーのような既存のPDMPベースのサンプラーに起因する制限を克服する新しい非可逆MCMCサンプラーの開発。
• 個々の成分へのターゲット更新とイベント頻度の低減により、サンプリング効率の向上。
• 目的分布の尾部にやや弱い条件（指数的からガウス型まで）を課した場合の座標サンプラーの理論的幾何的エルゴード性の確立。
• 有効サンプルサイズを指標として用い、座標サンプラーとZigzagサンプラーの実験的比較。
• 高次元ベイズ推論において、可逆MCMC手法の理論的裏付けが整った効率的代替手法の提供。

提案手法

• 座標サンプラーは、Zigzagサンプラーで用いられる±1ベクトルではなく、R^dの正規直交基底から得られる速度ベクトルを用いるPDMPを採用する。
• 各遷移においては、他のすべての成分を固定したまま、1つの成分のみを更新する。これによりイベント数が減少し、効率性が向上する。
• イベントレート関数は λ(x + tv, v) = {v_i ∇_i U(x + tv)}_+ + λ₀ で定義され、v_i ≠ 0 となるのは1つの座標 i のみである。
• アルゴリズムはイベント間で決定的に進化し、ポテンシャル関数の勾配から導かれる強度関数に従ってランダムな時刻に状態変化が発生する。
• 詳細つり合いの条件は不要であり、非可逆ダイナミクスが可能となる。これにより混合性と収束性が向上する。
• 理論的検証として、目的分布の尾部減衰が指数的からガウス型までのやや弱い条件下で、幾何的エルゴード性の証明が提供されている。

実験結果

リサーチクエスチョン

• RQ1 1つの座標を順に更新するPDMPベースのMCMCサンプラーは、Zigzagサンプラーに比べて混合性と効率性を向上させられるか？
• RQ2 ±1ベクトルではなく正規直交速度ベクトルを用いることで、イベント頻度が低下し、サンプリング効率が向上するか？
• RQ3 座標サンプラーが幾何的エルゴード性を示す条件は何か？
• RQ4 さまざまな目的分布に対して、座標サンプラーとZigzagサンプラーの有効サンプルサイズはどのように比較されるか？
• RQ5 重尾または複雑な後部分布を伴う高次元設定でも、座標サンプラーは良好な性能を維持できるか？

主な発見

• 目的分布の尾部が指数的以上でガウス型以下に衰える場合、座標サンプラーは幾何的エルゴード性を達成する。
• 数値結果から、バナナ型、多変量正規分布、ベイズ回帰分類の各ターゲットにおいて、座標サンプラーはZigzagサンプラーに比べて一貫して高い有効サンプルサイズを達成している。
• 座標ごとの更新と正規直交速度選択のおかげで、座標サンプラーのイベントレートはZigzagサンプラーに比べて顕著に低く、特に高次元において顕著である。
• 単位時間あたりの状態変化回数が減少し、計算イベント数が減り、効率性が向上する。
• 理論的分析により、目的密度のやや弱い正則性条件のもとで、サンプラーの安定性と収束性が確認された。
• 実験的比較により、座標サンプラーは計算時間単位あたりの有効サンプルサイズにおいて、Zigzagサンプラーを上回ることが示された。