[論文レビュー] Uniform Ergodicity of the Iterated Conditional SMC and Geometric Ergodicity of Particle Gibbs Samplers

Christophe Andrieu, Anthony Lee+1 more|arXiv (Cornell University)|Dec 22, 2013

Markov Chains and Monte Carlo Methods参考文献 24被引用数 6

ひとこと要約

本稿では、スレートモデルにおける反復的条件付きSMC（i-cSMC）およびピアソン・ギブス（PGibbs）サンプラーの均一および幾何的エルゴディシティ条件を確立する。i-cSMCの均一エルゴディシティに関して、重み関数の本質的有界性が必要かつ十分であることを証明し、粒子数Nを増加させることで収束速度が向上することを示す。これらの結果はPGibbsサンプラーへと拡張され、幾何的エルゴディシティが保証され、Nが増加するにつれて真のギブスサンプラーに収束することが示される。

ABSTRACT

We establish quantitative bounds for rates of convergence and asymptotic variances for iterated conditional sequential Monte Carlo (i-cSMC) Markov chains and associated particle Gibbs samplers. Our main findings are that the essential boundedness of potential functions associated with the i-cSMC algorithm provide necessary and sufficient conditions for the uniform ergodicity of the i-cSMC Markov chain, as well as quantitative bounds on its (uniformly geometric) rate of convergence. This complements more straightforward results for the particle independent Metropolis--Hastings (PIMH) algorithm. Our results for i-cSMC imply that the rate of convergence can be improved arbitrarily by increasing N, the number of particles in the algorithm, and that in the presence of mixing assumptions, the rate of convergence can be kept constant by increasing N linearly with the time horizon. Neither of these phenomena are observed for the PIMH algorithm. We translate the sufficiency of the boundedness condition for i-cSMC into sufficient conditions for the particle Gibbs Markov chain to be geometrically ergodic and quantitative bounds on its geometric rate of convergence. These results complement recently discovered, and related, conditions for the particle marginal Metropolis-- Hastings (PMMH) Markov chain. This is joint work with Anthony Lee and Matti Vihola.

研究の動機と目的

• 反復的条件付きSMC（i-cSMC）およびピアソン・ギブス（PGibbs）サンプラーの収束速度および漸近的分散に対する定量的バインディングを確立すること。
• i-cSMCマルコフ連鎖の均一エルゴディシティの必要十分条件を特定すること、特に重み関数の本質的有界性に注目すること。
• i-cSMCのエルゴディシティ条件を、PGibbsサンプラーの幾何的エルゴディシティの十分条件に翻訳すること。
• 粒子数Nを増加させることでPGibbsの性能を任意に向上させられることを示し、時間スケールの拡大に対しても収束速度を維持できることを示すこと。
• i-cSMCおよびPGibbsの収束特性をPIMHおよびPMMHと比較し、Nの増加に伴うi-cSMCおよびPGibbsの優れたスケーラビリティを強調すること。

提案手法

• 『二重に条件づけられた』SMCアルゴリズムにおける正規化定数推定値の期待値に関する、新たな非漸近的解析を展開する。
• カップリング論法および測度論的道具を用いて、i-cSMCマルコフ連鎖の均一的幾何的収束速度に対する定量的バインディングを導出する。
• やや弱い正則性条件のもとで、i-cSMCの均一エルゴディシティが、重み関数が本質的に有界である場合にかつその場合に限り成立することを確立する。
• カップリングに基づく議論を通じて、有界性条件をPGibbsサンプラーの幾何的エルゴディシティの十分条件に翻訳する。
• 理想化されたギブス連鎖の性能と関連付けることで、PGibbs連鎖が真のギブスサンプラーにどのように収束するかを分析する。
• i-cSMCおよびPGibbsアルゴリズムをPIMHおよびPMMHと比較し、i-cSMCおよびPGibbsの収束速度がNの増加に伴い向上することを強調する。

実験結果

リサーチクエスチョン

• RQ1 反復的条件付きSMC（i-cSMC）マルコフ連鎖が均一エルゴディックであるのはどのような条件下か？
• RQ2 重み関数の本質的有界性は、i-cSMCの均一エルゴディシティにとって必要かつ十分か？
• RQ3 i-cSMCと同一の有界性条件のもとで、ピアソン・ギブス（PGibbs）サンプラーの幾何的エルゴディシティを保証できるか？
• RQ4 i-cSMCおよびPGibbsの収束速度は粒子数Nにどのように依存するか？また、時間スケールの拡大に対しても、収束速度を向上または安定化させられるか？
• RQ5 i-cSMCおよびPGibbsの収束特性は、PIMHおよびPMMHと比較してどう異なるか？特に、Nの増加に伴うスケーラビリティの観点から検討する。

主な発見

• i-cSMCマルコフ連鎖は、重み関数が本質的に有界である場合にかつその場合に限り、均一エルゴディックであり、多くの実用的応用において幾何的エルゴディシティの必要十分条件である。
• i-cSMC連鎖の収束速度は、粒子数Nを増加させることで任意に速くできる。収束速度の定量的バインディングはNの関数として与えられる。
• 混合仮定が成立する場合、時間窓Tと比例してNを線形に増加させることで、i-cSMCの収束速度を一定に保てる。
• 重み関数が本質的に有界であれば、ピアソン・ギブスサンプラーは幾何的エルゴディックであり、Nが増加するにつれて真のギブスサンプラーの性質に収束する。
• PIMHおよびPMMHとは異なり、Nの増加に伴い収束速度が向上しないのに対し、i-cSMCおよびPGibbsはNの増加に伴い収束速度が向上するため、大規模推論においてよりスケーラブルである。
• PGibbsにおける推定値の漸近的分散は、N → ∞ において真のギブスサンプラーの分散に収束し、その定量的バインディングは定理27に提示されている。