[論文レビュー] Auxiliary Particle filtering within adaptive Metropolis-Hastings Sampling

M. Pitt, Ralph S. Silva+2 more|arXiv (Cornell University)|Jun 9, 2010

Bayesian Methods and Mixture Models参考文献 36被引用数 27

ひとこと要約

本稿では、非線形・非ガウス型の状態空間モデルにおけるベイズ推論を改善するため、適応的独立メトロポリス・ハスティングスサンプリングと完全適応型補助粒子フィルタリングを組み合わせた手法を提案する。正規分布の混合分布を提案分布として用い、ノイズ低減型粒子フィルタリングを適用することで、標準的手法に比べて最大4倍の高速化を達成し、不偏なシミュレートされた尤度を保証するとともに、モデル比較に適した効率的な周辺尤度推定が可能になる。

ABSTRACT

Our article deals with Bayesian inference for a general state space model with the simulated likelihood computed by the particle filter. We show empirically that the partially or fully adapted particle filters can be much more efficient than the standard particle, especially when the signal to noise ratio is high. This is especially important because using the particle filter within MCMC sampling is O(T^2), where T is the sample size. We also show that an adaptive independent proposal for the unknown parameters based on a mixture of normals can be much more efficient than the usual optimal random walk methods because the simulated likelihood is not continuous in the parameters and the cost of constructing a good adaptive proposal is negligible compared to the cost of evaluating the simulated likelihood. Independent \MH proposals are also attractive because they are easy to run in parallel on multiple processors. The article also shows that the proposed \aimh sampler converges to the posterior distribution. We also show that the marginal likelihood of any state space model can be obtained in an efficient and unbiased manner by using the \pf making model comparison straightforward. Obtaining the marginal likelihood is often difficult using other methods. Finally, we prove that the simulated likelihood obtained by the auxiliary particle filter is unbiased. This result is fundamental to using the particle for MCMC sampling and is first obtained in a more abstract and difficult setting by Del Moral (2004). However, our proof is direct and will make the result accessible to readers.

研究の動機と目的

• 非線形的かつ非ガウス型の状態空間モデルにおけるベイズ推論のための、より効率的なマルコフ連鎖モンテカルロ（MCMC）手法の開発。
• MCMC内での粒子フィルタリングの計算コストがサンプルサイズTに対してO(T²)に比例することに対処する。
• パラメータに関して尤度が不連続となるような状況においても、正規分布の混合分布に基づく適応的独立メトロポリス・ハスティングス提案分布を用いることで、サンプリング効率を向上させる。
• 粒子フィルタリングとブリッジサンプリングを組み合わせることで、モデル比較に適した正確かつ不偏な周辺尤度推定を実現する。
• 補助粒子フィルタのシミュレートされた尤度の不偏性を証明し、MCMCにおける有効性を裏付ける。

提案手法

• 過去のMCMCサンプルから得られる情報を用いて、混合多変量正規分布に基づく後方分布を学習する適応的独立メトロポリス・ハスティングスサンプラーを用いる。
• 信号対ノイズ比が高い状況でも特に有効なノイズ低減型の補助粒子フィルタ（APF）を、完全適応または部分的適応の形で適用する。
• 粒子フィルタリングとブリッジサンプリングまたは重要度サンプリングを組み合わせ、モデル比較のための効率的かつ不偏な周辺尤度を計算する。
• MCMCのターゲット密度としてシミュレートされた尤度を用い、APFの不偏性が証明されていることから、後方分布推定の有効性を保証する。
• MCMCのサンプリング中に定期的な間隔で更新を行う逐次的更新スキームを提案分布に適用する。
• 独立メトロポリス・ハスティングスステップの並列化を実装し、マルチコアコンピューティングを活用してウォルク・タイムを短縮する。

実験結果

リサーチクエスチョン

• RQ1 正規分布の混合分布を提案分布とする適応的独立メトロポリス・ハスティングスサンプリングは、不連続なシミュレートされた尤度を示す状態空間モデルにおいて、標準的な適応的ランダムウォークM-Hを上回る性能を示すか？
• RQ2 完全適応型補助粒子フィルタリングは、標準的な粒子フィルタリングと比較して、シミュレートされた尤度の分散を顕著に低減するか？
• RQ3 粒子フィルタリングとブリッジサンプリングを組み合わせることで、状態空間モデルの周辺尤度を効率的かつ不偏に推定できるか？
• RQ4 補助粒子フィルタのシミュレートされた尤度は不偏であるか？その不偏性は、MCMC推定における有効性を支持するか？
• RQ5 適応的独立M-Hと完全適応型APFを組み合わせた手法は、標準的手法に比べてどの程度の計算効率の向上が達成されるか？

主な発見

• 正規分布の混合分布を提案分布とする適応的独立M-Hサンプラーは、10,000個の粒子を使用しても、標準的な粒子フィルタリングを用いた適応的ランダムウォークM-Hに比べ、最大4倍の効率性を示した。
• 完全適応型補助粒子フィルタリングにより、シミュレートされた対数尤度の標準偏差は、標準フィルタ（10,000粒子）の0.51から、完全適応型フィルタ（1,000粒子）の0.31にまで低下した。
• 500粒子で使用した完全適応型APFは、10,000粒子で使用した標準フィルタ（0.51）よりも低いシミュレートされた対数尤度の標準偏差（0.43）を達成した。
• 完全適応型APFを用いた場合、適応的独立M-Hサンプラーは、適応的ランダムウォークM-H（13.25％の受容率、40.47の低効率）と比較して、より高い受容率（34.44％）と低い低効率（6.61）を達成した。
• 補助粒子フィルタのシミュレートされた尤度は、数学的に不偏であることが証明されており、これによりMCMC推定におけるバイアスの導入が回避される。
• 周辺尤度は効率的かつ不偏に推定可能であり、これによりさまざまな状態空間モデル間での簡単なモデル比較が可能になった。