[論文レビュー] On Scalable Particle Markov Chain Monte Carlo

David Gunawan, Chris Carter+1 more|arXiv (Cornell University)|Apr 12, 2018

Financial Risk and Volatility Modeling参考文献 35被引用数 5

ひとこと要約

本稿では、非線形・非ガウス型状態空間モデルにおけるベイズ推論のスケーラビリティを向上させるために、粒子そのものではなく、基本的な一様分布または標準正規分布に従う確率変数を用いてターゲット密度を再パrameter化することで、ハイブリッド粒子マルコフ連鎖モンテカルロ（PMCMC）手法を提案する。これらの基本的変数に条件づけることで、高い相関関係や計算コストの高いパラメータの効率的なサンプリングが可能となり、特にパラメータ数や潜在状態数が多いモデルにおいて、従来のPMCMC手法に比べて著しく効率が向上する。また、エルゴード性も保証される。

ABSTRACT

Particle Markov Chain Monte Carlo (PMCMC) is a general approach to carry out Bayesian inference in non-linear and non-Gaussian state space models. Our article shows how to scale up PMCMC in terms of the number of observations and parameters by expressing the target density of the PMCMC in terms of the basic uniform or standard normal random numbers, instead of the particles, used in the sequential Monte Carlo algorithm. Parameters that can be drawn efficiently conditional on the particles are generated by particle Gibbs. All the other parameters are drawn by conditioning on the basic uniform or standard normal random variables; e.g. parameters that are highly correlated with the states, or parameters whose generation is expensive when conditioning on the states. The performance of this hybrid sampler is investigated empirically by applying it to univariate and multivariate stochastic volatility models having both a large number of parameters and a large number of latent states and shows that it is much more efficient than competing PMCMC methods. We also show that the proposed hybrid sampler is ergodic.

研究の動機と目的

• 観測数やパラメータ数が非常に多いモデルにスケーリングする際、標準PMCMC手法の計算的非効率性を解消すること。
• 高次元の潜在状態を有する非線形・非ガウス型状態空間モデルにおけるベイズ推論の混合性と収束性を改善すること。
• パラメータの依存構造と計算コストに基づいて分離するハイブリッドサンプリング戦略を構築し、より効率的な条件付き更新を実現すること。
• 提案されたサンプラーが、大規模な確率的ボラティリティモデルにおいて著しく性能向上を達成する一方で、エルゴード性を保証すること。

提案手法

• 順次モンテカルロ（SMC）アルゴリズムで用いられる基本的確率変数（一様分布または標準正規分布に従う変数）を用いて、PMCMCのターゲット密度を再パラメータ化する。粒子そのものではなく、これらの基本的変数を基準とする。
• 粒子に条件づくパラメータを効率的に抽出するために、粒子ギブスサンプリングを用いる。
• 特に潜在状態と高い相関関係がある、もしくは粒子に条件づけると計算コストが高くなるパラメータについては、すべての他のパラメータを基本的確率変数に条件づけて生成する。
• SMCのリサンプリング機構を活用して、反復処理間で一貫性があり、効率的な提案分布を維持する。
• 再パラメータ化によって、同時事後分布が保たれ、MCMCチェーンの妥当性が維持されることを保証する。
• ややきつい正則性条件の下で、得られるハイブリッドサンプラーのエルゴード性を証明する。

実験結果

リサーチクエスチョン

• RQ1 大規模なパラメータ数や潜在状態数を持つモデルに、PMCMCを効率的にスケーリングできるか？
• RQ2 基本的確率変数を用いたターゲット密度の再パラメータ化は、粒子に条件づける手法に比べて、どのようにサンプリング効率を向上させるか？
• RQ3 条件付き依存性と計算コストに基づいてパラメータ更新を分離することで、MCMCの収束性と混合性にどのような影響を与えるか？
• RQ4 提案されたハイブリッドサンプラーはエルゴード的であるか？ これにより、真の事後分布への収束が保証されるか？

主な発見

• 提案されたハイブリッドPMCMCサンプラーは、大規模なパrameter数および状態次元を有する単変量および多変量の確率的ボラティリティモデルにおいて、競合するPMCMC手法に比べて著しく高い効率性を達成する。
• 基本的一様分布または標準正規分布に従う変数を用いたターゲット密度の再パラメータ化により、潜在状態と高い相関関係を持つパラメータのより効果的かつ効率的なサンプリングが可能になる。
• 粒子に条件づけると計算コストが高くなるパラメータは、基本的確率変数に条件づけることで効率的に更新され、全体の計算負荷が低減される。
• この手法は、高次元設定においても良好な混合性と収束性を維持し、実証的評価において標準PMCMCを上回る性能を示す。
• 理論的分析により、ハイブリッドサンプラーがエルゴード的であることが確認され、真の事後分布への確実収束が保証される。
• 実証的結果から、大規模モデルにおいて有効サンプルサイズと計算時間の両面で顕著な性能向上が示された。