[論文レビュー] Towards Automatic Model Comparison: An Adaptive Sequential Monte Carlo Approach

Yan Zhou, Adam M. Johansen+1 more|arXiv (Cornell University)|Mar 13, 2013

Statistical Methods and Bayesian Inference参考文献 49被引用数 26

ひとこと要約

本稿では、モデル証拠と事後モデル確率を推定するために、適応的分布配置と提案分布チューニングを用いた順次モンテカルロ（SMC）フレームワークを提案する。この手法は最小限の手動チューニングで最先端の性能を達成し、多様なモデルにおいてRJMCMCおよびPMCMCを上回る計算効率と頑健性を示す。

ABSTRACT

Model comparison for the purposes of selection, averaging and validation is a problem found throughout statistics. Within the Bayesian paradigm, these problems all require the calculation of the posterior probabilities of models within a particular class. Substantial progress has been made in recent years, but difficulties remain in the implementation of existing schemes. This paper presents adaptive sequential Monte Carlo (\smc) sampling strategies to characterise the posterior distribution of a collection of models, as well as the parameters of those models. Both a simple product estimator and a combination of \smc and a path sampling estimator are considered and existing theoretical results are extended to include the path sampling variant. A novel approach to the automatic specification of distributions within \smc algorithms is presented and shown to outperform the state of the art in this area. The performance of the proposed strategies is demonstrated via an extensive empirical study. Comparisons with state of the art algorithms show that the proposed algorithms are always competitive, and often substantially superior to alternative techniques, at equal computational cost and considerably less application-specific implementation effort.

研究の動機と目的

• 最小限のユーザーチューニングで自動的かつ頑健かつ効率的なベイズモデル比較を実現すること。
• RJMCMCやPMCMCといった最先端のMCMC手法を凌駕するSMC手法を、モデル証拠推定の文脈で拡張すること。
• 収束性の向上と分散の低減を図るために、SMC内での中間分布配置および提案分散チューニングのための適応戦略を開発すること。
• 局所的混合MCMC提案分布のみを用いて、最小限のアプリケーション固有設計でほぼ自動実装を可能とすること。
• GPU並列化を含む実世界の問題へのスケーラビリティとパフォーマンスを実証すること。

提案手法

• モデル事後分布を標的にする一連の人工分布を用いた順次モンテカルロ（SMC）を採用し、重要度サンプリングとリサンプリングを用いて正規化定数を推定する。
• 計算コストと精度のバランスを取るために、一定のCESS* = 0.999を用いた中間分布の適応的スケジューリングを導入する。
• 混合性の向上と証拠推定における分散の低減を図るため、提案分布のための適応的MCMCカーネルチューニングを提案する。
• SMCとパスサンプリング（熱力学的統合）を組み合わせることで、低分散かつバイアス補正済みのモデル証拠推定を実現する。
• 事後モデル確率を頑健に推定するために、プロダクト推定量とパスサンプリング推定量の変種を用いる。
• モデルおよび粒子間での自然な並列化を可能とし、GPUやマルチコアアーキテクチャに適している。

実験結果

リサーチクエスチョン

• RQ1 適応的SMCは、広範な手動チューニングが不要な頑健でほぼ自動的なベイズモデル比較手法を提供できるか？
• RQ2 中間分布の適応的配置と提案チューニングは、モデル証拠推定の正確性と分散にどのように影響するか？
• RQ3 提案されたSMCベースの手法は、RJMCMCおよびPMCMCと比較して、計算コスト、分散、収束性の観点でどのように異なるか？
• RQ4 GPUのような並列計算ハードウェアを用いることで、SMCベースのモデル比較はどの程度スケーラブルに拡張可能か？
• RQ5 SMC内でのパスサンプリングは、計算効率を維持しつつ、証拠推定のバイアスを低減できるか？

主な発見

• 提案された適応的SMC2アルゴリズムは、最小限のチューニングでもRJMCMCおよびPMCMCを常に上回るか、同等の分散と正確性を達成する。
• 適応的分布配置と提案チューニングは、非線形ODEのような複雑なモデルにおいても収束性の向上と分散の低減に顕著に寄与する。
• パスサンプリング変種（SMC2-PS）は低バイアスを示し、中心極限定理による強い理論的裏付けを持つ。
• 同じPETデータに対して先行研究（Zhou et al., 2013）と同等の結果を達成したが、実装作業は著しく少なく、計算コストは類似していた。
• SMC2は効率的かつスケーラブルな並列化を可能とし、GPUのようなハイパフォーマンスコンピューティング環境に適している。
• パスサンプリングにおけるバイアス低減技術の費用は無視できるほど小さいため、推定精度の向上を図るために常に使用すべきである。