[論文レビュー] Scalable Inference for Markov Processes with Intractable Likelihoods

Jamie Owen, Darren J. Wilkinson+1 more|arXiv (Cornell University)|Mar 26, 2014

Markov Chains and Monte Carlo Methods参考文献 1被引用数 4

ひとこと要約

本稿では、近似ベイズ計算（ABC）と粒子マルコフ連鎖モンテカルロ（pMCMC）を組み合わせたハイブリッド手法を提案し、尤度が閉形式で得られないマーカフ過程におけるスケーラブルで正確なベイズ推論を可能にする。逐次ABCを用いて近似事後分布を生成し、それを平行なpMCMCチェーンの初期化およびチューニングに活用することで、収束速度が向上し混合性が向上し、バーンイン期間が短縮され、並列ハードウェア上での計算効率が向上する。

ABSTRACT

Bayesian inference for Markov processes has become increasingly relevant in recent years. Problems of this type often have intractable likelihoods and prior knowledge about model rate parameters is often poor. Markov Chain Monte Carlo (MCMC) techniques can lead to exact inference in such models but in practice can suffer performance issues including long burn-in periods and poor mixing. On the other hand approximate Bayesian computation techniques can allow rapid exploration of a large parameter space but yield only approximate posterior distributions. Here we consider the combined use of approximate Bayesian computation (ABC) and MCMC techniques for improved computational efficiency while retaining exact inference on parallel hardware.

研究の動機と目的

• 尤度が閉形式で得られないモデルやレートパラメータの事前知識が乏しい状況における、粒子MCMC（pMCMC）の計算非効率性を解消すること。
• 逐次ABCからの近似事後分布を活用することで、pMCMCの長時間のバーンイン期間と混合性の悪さを軽減すること。
• ABC（高速な探索）とpMCMC（正確なサンプリング）の長所を組み合わせ、並列ハードウェア上でスケーラブルで正確なベイズ推論を実現すること。
• パイロットランを必要とせず、ABCサンプルを初期化に用いることで、pMCMCの提案分布チューニングを自動かつ堅牢に行う手法を提供すること。
• 時間非定常なレートと部分観測が可能なモデルを含む、3つの確率的キネティックモデルを用いて手法を検証すること。

提案手法

• 逐次ABCを用いて近似事後分布からのサンプルを生成し、これをpMCMCの初期化に用いる提案分布として活用する。
• ABC事後分布サンプルを活用して、pMCMCの提案分散および粒子フィルターサイズをチューニングし、パイロットランの必要性を排除する。
• 互いに独立した複数のpMCMCチェーンを並列に実行し、ABC事後分布サンプル内の異なる点から初期化することで、収束性と混合性を向上させる。
• ブートストラップ粒子フィルタを用いた粒子MCMCを適用し、直接法による正確な前向きシミュレーションを用いて、レートパラメータの同時事後分布に対して正確な推論を実施する。
• ABCにおける「近い」シミュレート済みデータの定義に、許容誤差に基づく距離関数 ρ(D, D*) ≤ ε を用い、最終的なABCサンプルをpMCMCチェーンの初期化に使用する。
• スプライシングと収束診断を適用し、正確な事後分布からの信頼性のある事後サンプリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 ABCとpMCMCを組み合わせることで、尤度が閉形式で得られないマーカフ過程におけるベイズ推論の計算効率が向上するか？
• RQ2 ABC事後分布を用いてpMCMCを初期化することで、高次元パrameter空間におけるバーンイン期間の短縮と混合性の向上が達成されるか？
• RQ3 ABCサンプルから初期化された並列pMCMCチェーンは、より速い収束とチューニング作業の削減を伴い、正確な推論を達成できるか？
• RQ4 実世界の確率的キネティックモデルにおいて、このハイブリッド手法は単独のABCやpMCMCと比較して、事後分布の正確性と計算コストの両面で優れているか？
• RQ5 弱い事前分布、部分観測、時間非定常なレートパラメータを有するモデルに対しても、本手法は効果的に適用可能か？

主な発見

• ハイブリッドABC-pMCMC手法により、ABCサンプルを用いて事後分布に近い初期化がなされたため、pMCMCのバーンイン期間が著しく短縮された。
• ABC事後分布から初期化された独立した並列pMCMCチェーンは、すべて同じターゲット分布に収束した。これは、正確な事後分布からの信頼性のあるサンプリングを確認するものである。
• 本手法による事後推定値は、Golightlyら（2014）が報告した結果と一貫しており、推論の正確性と妥当性が検証された。
• 最終的なABCサンプルはpMCMC事後分布とは著しく異なっており、pMCMCがABC近似を精緻化し、正確な推論を提供していることが示された。
• 時間依存のハザード関数と未観測種が存在する遺伝子調節モデルにおいても、本手法により正確な推論が可能になった。標準的なpMCMCでは初期化が不十分なため、困難であった。
• pMCMCのチューニングパラメータ（提案分散と粒子数）がABCサンプルを用いて効果的に設定され、高価なパイロットランの必要性が排除された。