[論文レビュー] CONVERGENCE OF SEQUENTIAL MONTE CARLO-BASED SAMPLING METHODS

Jonathan H. Huggins, Daniel M. Roy|arXiv (Cornell University)|Mar 3, 2015

Target Tracking and Data Fusion in Sensor Networks参考文献 19被引用数 7

ひとこと要約

この論文は、目的の事後分布と期待されるSMC近似との間のカルバック・ライバラー（Kullback-Leibler）情報量の差を分析することで、逐次モンテカルロ（SMC）サンプリング手法の収束速度を確立している。1-ESS有効サンプルサイズと適応的条件付きSMC提案分布を導入し、適応的SMCおよびパーティクルギブス・サンプラーにおける証明可能な収束バウンドを可能にした。

ABSTRACT

Originally designed for state-space models, Sequential Monte Carlo (SMC) methods are now routinely applied in the context of general-purpose Bayesian inference. Traditional analyses of SMC algorithms have focused on their application to estimating expectations with respect to intractable distri- butions such as those arising in Bayesian analysis. However, these algorithms can also be used to obtain approximate samples from a posterior distribution of interest. We investigate the asymptotic and non-asymptotic convergence rates of SMC from this sampling viewpoint. In particular, we study the ex- pectation of the particle that SMC produces as the number of particles tends to innity. This \expected approximation is equivalent to the law of a sample drawn from the SMC approximation. We give convergence rates of the Kullback-Leibler divergence between the target and the expected approximation. Our results apply to both deterministic and adaptive resam- pling schemes. In the adaptive setting, we introduce a novel notion of eective sample size, the 1-ESS, and show that controlling this quantity ensures sta- bility of the SMC sampling algorithm. We also introduce an adaptive version of the conditional SMC proposal, which allows us to prove quantitative bounds for rates of convergence for adaptive versions of iterated conditional sequential Monte Carlo Markov chains and associated adaptive particle Gibbs samplers.

研究の動機と目的

• 期待値推定のためのものだけでなく、事後分布のサンプリングツールとしてのSMC手法の収束を分析すること。
• 真の事後分布に対して期待されるSMC近似の漸近的および非漸近的収束速度を導出すること。
• 適応的SMCアルゴリズムの安定性を高めるために、新しい有効サンプルサイズ指標1-ESSを導入すること。
• 繰り返し適用される条件付きSMCとパーティクルギブス・サンプラーにおける定量的収束バウンドを可能にする、適応的条件付きSMC提案分布を開発すること。
• SMCベースの推論における適応的リサンプリングおよび提案スキームの理論的保証を拡張すること。

提案手法

• 期待されるSMC近似を、SMC出力からのサンプルの分布として扱い、確率測度として扱う。
• 目的の事後分布と期待されるSMC近似との間の距離を、カルバック・ライバラー情報量で定量化する。
• 適応的リサンプリングにおける安定性を制御するために、1-ESSと呼ばれる新しい有効サンプルサイズ指標を導入する。
• 繰り返し適用されるSMCおよびパーティクルギブス設定における収束の向上を目的に、条件付きSMC提案の適応的バージョンを提案する。
• 新しい提案分布と1-ESSを用いて、適応的反復条件付きSMCおよびパーティクルギブス・サンプラーの定量的収束バウンドを導出する。
• 理論的堅牢性を保証するために、決定的および適応的リサンプリングスキームの両方へフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 事後分布からのサンプリングに用いられるSMC手法の収束速度は何か？
• RQ2 粒子数が増加する際、期待されるSMC近似はどのように振る舞うか？
• RQ3 1-ESSと呼ばれる新しい有効サンプルサイズ指標は、適応的SMCアルゴリズムにおける安定性を保証できるか？
• RQ4 提案機構にどのような条件が満たされると、適応的SMCおよびパーティクルギブス・サンプラーで収束が保証されるか？
• RQ5 適応的反復条件付きSMCおよびパーティクルギブス手法に対して、定量的収束バウンドを確立できるか？

主な発見

• 粒子数が増加するに従い、目的の事後分布と期待されるSMC近似との間のカルバック・ライバラー情報量の差が、定量的に評価可能な速度で収束する。
• 1-ESS有効サンプルサイズ指標は、リサンプリング行動の制御により、適応的SMCアルゴリズムにおける安定性を保証する。
• 適応的条件付きSMC提案分布により、反復条件付きSMCおよびパーティクルギブス・サンプラーにおける証明可能な収束バウンドが可能になる。
• 決定的および適応的リサンプリングスキームの両方に対して収束速度が確立され、理論的保証が適応的設定へ拡張された。
• 本フレームワークは、期待値推定のためのものにとどまらず、一般のベイズ推論におけるSMCをサンプリング手法として用いるための理論的基盤を提供する。
• 結果は、状態空間モデルや一般のベイズ推論に用いられる、広範なクラスのSMCアルゴリズムに適用可能である。