[論文レビュー] Particle filtering within adaptive Metropolis Hastings sampling

Ralph S. Silva, Paolo Giordani+2 more|ArXiv.org|Nov 2, 2009

Markov Chains and Monte Carlo Methods参考文献 25被引用数 9

ひとこと要約

本稿では、非ガウス型状態空間モデルにおける正確なベイズ推論を可能にする、パーティクルフィルタリングを統合した適応的メトロポリス・ハスティングスサンプリングフレームワークを提案する。適応的独立メトロポリス・ハスティングスは、より優れたプロポーザル適合と優れた並列処理の恩恵を受けて、適応的ランダムウォークよりも著しく高い効率性を示す。一方、パーティクルフィルタリングにより、モデル比較のための不偏かつ効率的な周辺尤度推定が可能となる。

ABSTRACT

We show that it is feasible to carry out exact Bayesian inference for non-Gaussian state space models using an adaptive Metropolis Hastings sampling scheme with the likelihood approximated by the particle filter. Furthermore, an adapyive independent Metropolis Hastings sampler based on a mixture of normals proposal is computationally much more efficient than an adaptive random walk proposal because the cost of constructing a good adaptive proposal is negligible compared to the cost of approximating the likelihood. Independent Metropolis Hastings proposals are also attractive because they are easy to run in parallel on multiple processors. We also show that when the particle filter is used, the marginal likelihood of any model is obtained in an efficient and unbiased manner, making model comparison straightforward.

研究の動機と目的

• 一般の非ガウス型状態空間モデルにおける正確なベイズ推論のための実用的で効率的な手法の開発。
• 混合正規分布をプロポーザルに用いた適応的独立メトロポリス・ハスティングスと、適応的ランダムウォークメトロポリス・ハスティングスの計算効率を比較すること。
• パーティクルフィルタリングがモデル比較のための不偏かつ効率的な周辺尤度推定を可能にすることの実証。
• アストマおよびリンツの実世界時系列データを用いた、提案手法の性能評価。
• 適応的独立メトロポリス・ハスティングススキームが、8プロセッサ環境で計算時間を5倍から30倍まで短縮できるほどの高い並列処理性を有することの示唆。

提案手法

• 観測分布および状態遷移密度が既知である非ガウス型状態空間モデルにおいて、計算不能な尤度をパーティクルフィルタリングで近似する。
• 過去のサンプルから事後分布の構造を学習するために、混合正規分布をプロポーザル分布とする適応的独立メトロポリス・ハスティングスサンプラーを採用する。
• 比較のため、三成分適応（Roberts & Rosenthal, 2009）を用いた適応的ランダムウォークメトロポリス・ハスティングススキームを適用する。
• モデル比較のための不偏な周辺尤度推定を実現するために、ブリッジサンプリングおよび重要度サンプリングを用いる。
• 特に独立プロポーザルスキームにおいて有利な影響を受けるように、複数のプロセッサにパーティクルフィルタの評価を分散して並列計算を実装する。
• 補助変数を用いて、メトロポリス・ハスティングスアルゴリズムにおけるパーティクルフィルタリングによる尤度近似の正当性を裏付ける（Andrieu et al., 2010）。

実験結果

リサーチクエスチョン

• RQ1 パーティクルフィルタリングは、非ガウス型状態空間モデルにおける正確なベイズ推論を可能にする適応的メトロポリス・ハスティングスと効果的に組み合わせられるか？
• RQ2 混合正規分布をプロポーザルに用いた適応的独立メトロポリス・ハスティングスは、この文脈において、適応的ランダムウォークメトロポリス・ハスティングスよりも計算効率が優れているか？
• RQ3 パーティクルフィルタリングと適応的MCMCを組み合わせた場合、並列処理が計算効率にどの程度向上をもたらすか？
• RQ4 MCMCフレームワーク内でのパーティクルフィルタリングを用いることで、周辺尤度を効率的かつ不偏に推定できるか？
• RQ5 実世界の時系列データにおいて、2つのサンプリングスキームの非効率性および受容率はどのように比較されるか？

主な発見

• リンツデータでは、適応的独立メトロポリス・ハスティングスの中央値不効率性は6.86（四分位範囲：2.99）であり、適応的ランダムウォークメトロポリスの56.41（四分位範囲：4.40）と比較して著しく優れた混合性を示した。
• アストマデータでは、独立プロポーザルの中央値不効率性は8.51（四分位範囲：6.18）であり、ランダムウォークの68.46（四分位範囲：7.00）と比較して、サンプリング効率が著しく向上した。
• 独立プロポーザルの中央値有効計算時間（ECT）は8プロセッサ環境で1.90であったのに対し、ランダムウォークは107.70であった。計算時間は56倍短縮された。
• 適応的独立メトロポリス・ハスティングスは、標準パーティクルフィルタを用いて中央値受容率40.07％を達成し、ランダムウォークの26.37％と比較して、より良好なプロポーザルチューニングが実現した。
• ブリッジサンプリングおよび重要度サンプリングにより、一貫性があり不偏な周辺尤度推定が得られ、レベルモデルとレベル・トレンドモデルのそれぞれについて、対数周辺尤度は-2558.3および-2577.2であった。これにより、モデル比較の可能性が裏付けられた。
• パーティクルフィルタに基づく尤度近似により、周辺尤度の不偏推定が可能となり、モデル比較が明快かつ計算的に効率的になった。