[論文レビュー] On the Particle Gibbs Sampler

Nicolás Chopin, Sumeetpal S. Singh|arXiv (Cornell University)|Apr 6, 2013

Markov Chains and Monte Carlo Methods被引用数 12

ひとこと要約

本稿では、粒子系のサイズを増加させることで高い結合確率を保証する、Particle Gibbsサンプラーの新しい結合構成法を提案する。これにより、マルコフ連鎖の一様エルゴード性が証明される。また、漸近的効率を向上させるアルゴリズム的変種を導入し、中央極限定理による近似における分散を元の手法よりも低減する。

ABSTRACT

Abstract. The particle Gibbs sampler is a Markov chain Monte Carlo (MCMC) algorithm which operates on the extended space of the auxiliary variables generated by an interacting particle system. In particular, it samples the discrete variables that determine the particle genealogy. We propose a coupling construction between two particle Gibbs updates from different starting points, which is such that the coupling probability may be made arbitrary large by taking the particle system large enough. A direct consequence of this result is the uniform ergodicity of the Particle Gibbs Markov kernel. We discuss several algorithmic variations of Particle Gibbs, either proposed in the literature or original. For some of these variants we are able to prove that they dominate the original algorithm in asymptotic efficiency as measured by the variance of the central limit theorem’s limiting distribution. A detailed numerical study is provided to demonstrate the efficacy of Particle Gibbs and the proposed variants. 1.

研究の動機と目的

• MCMC収束保証のための重要な理論的性質である、Particle Gibbsマルコフ連鎖の一律エルゴード性を確立すること。
• 標準的なParticle Gibbsに理論的収束速度制御の欠如があるのを補うために、結合機構を導入すること。
• モンテカルロ推定における漸近的効率を向上させるためのParticle Gibbsのアルゴリズム的変種の開発および分析を行うこと。
• 数値的実験を通じて、提案された変種が元のParticle Gibbsに対して分散低減の面で優れていることを示すこと。

提案手法

• 異なる初期状態からの2つのParticle Gibbs更新の間の結合構成を導入し、融合確率が高くなるように保証する。
• 相互作用粒子系が生成する補助変数の拡張された空間を活用し、粒子の系統に沿った結合を定義する。
• 粒子系のサイズを調整パrameterとして用い、結合確率を制御可能にし、十分に多くの粒子があれば1に限りなく近づける。
• 結合を用いて、標準的な幾何的エルゴード性よりも強い性質である、Particle Gibbsカーネルの一様エルゴード性を証明する。
• 漸近的効率を向上させるために、リサンプリングや提案分布の変更を含む、Particle Gibbsの変種を提案・分析する。
• 中央極限定理に基づく分散分析を用い、変種間の漸近的効率を比較し、限界分散が低いものを同定する。

実験結果

リサーチクエスチョン

• RQ1 2つの連鎖間の融合確率を高めるような、Particle Gibbsのための結合構成法を設計できるか？
• RQ2 そのような結合が、Particle Gibbsマルコフ連鎖の一律エルゴード性をもたらすか？
• RQ3 どのアルゴリズム的変種が、元の手法よりも優れた漸近的効率を達成するか？
• RQ4 提案された変種は、中央極限定理近似における分散低減の面でどのように比較されるか？
• RQ5 エルゴード性および効率の理論的改善が、数値的実験を通じて実証可能か？

主な発見

• 提案された結合構成法により、粒子数を増やすことで、2つのParticle Gibbs連鎖間の結合確率を1に限りなく近づけることができる。
• 結合構成法の直接的結果として、Particle Gibbsマルコフ連鎖の一様エルゴード性が確立される。
• 中央極限定理の限界分布における分散が低いことから、いくつかのアルゴリズム的変種が元の手法を漸近的効率で上回ることが証明される。
• 数値的実験により、提案された変種が標準的なParticle Gibbsサンプラーと比較して顕著な分散低減を達成することが確認される。
• 理論的結果は、実際の応用において収束が速く、推定精度が向上するという実証的証拠によって裏付けられる。
• 結合機構は、収束の検証およびParticle Gibbsアルゴリズムの混合性向上の実用的道筋を提供する。