[論文レビュー] Prior-Proposal Recursive Bayesian Inference

Mevin B. Hooten, Devin S. Johnson+1 more|arXiv (Cornell University)|Jul 28, 2018

Gaussian Processes and Bayesian Inference参考文献 49被引用数 1

ひとこと要約

本稿では、逐次的または分散データにおけるスケーラブルで効率的なベイズ推論を可能にするために、Prior-RecursiveおよびProposal-Recursiveベイズ手法を統合する、新しいPrior-Proposal Recursiveベイズ推論手法を提案する。逐次的更新とプロポーザルベースのMCMC精錬を組み合わせることで、計算効率が向上し、ビッグデータ、ストリーミングデータ、および適応的設計の応用に適している。

ABSTRACT

Bayesian models provide recursive inference naturally because they can formally reconcile new data and existing scientific information. However, popular use of Bayesian methods often avoids priors that are based on exact posterior distributions resulting from former studies. Two existing Recursive Bayesian methods are: Prior- and Proposal-Recursive Bayes. Prior-Recursive Bayes uses Bayesian updating, fitting models to partitions of data sequentially, and provides a way to accommodate new data as they become available using the posterior from the previous stage as the prior in the new stage based on the latest data. Proposal-Recursive Bayes is intended for use with hierarchical Bayesian models and uses a set of transient priors in first stage independent analyses of the data partitions. The second stage of Proposal-Recursive Bayes uses the posteriors from the first stage as proposals in an MCMC algorithm to fit the full model. We combine Prior- and Proposal-Recursive concepts to fit any Bayesian model, and often with computational improvements. We demonstrate our method with two case studies. Our approach has implications for big data, streaming data, and optimal adaptive design situations.

研究の動機と目的

• 既存の研究からの正確な事後分布が事前分布として十分に活用されていないベイズ推論の限界を解消すること。
• 大規模またはストリーミングデータセットにスケーリングする際、従来の再帰的ベイズ手法における計算非効率性を克服すること。
• Prior-RecursiveおよびProposal-Recursiveベイズ手法を統合する包括的フレームワークを構築することにより、より広範な適用可能性を実現すること。
• 再帰的ベイズ更新を用いて、階層モデルおよび適応的実験設計における効率的推論を可能にすること。
• 再帰的およびプロポーザルベースの推論を通じて、ビッグデータおよびリアルタイムデータ分析シナリオにおける計算パフォーマンスを向上させること。

提案手法

• Prior-Recursive Bayes（1段階目の事後分布を次段階の事前分布として使用）とProposal-Recursive Bayes（1段階目の事後分布をMCMCにおけるプロポーザルとして使用）を統合する。
• 過去のデータパーティションからの事後分布を次なるデータパーティションの事前分布として使用することで、逐次的ベイズ更新を適用する。
• 2段階のプロセスを採用する：まず、データパーティションごとに独立してモデルを適合させ、一時的な事後分布を取得する。次に、これらの事後分布を、全モデルに対するMCMCにおけるプロポーザル分布として使用する。
• 以前の段階での全事後分布を、後の段階における情報豊富な事前分布として使用することで、収束性と精度が向上する。
• プロポーザルベースのMCMCを用いることで、階層ベイズモデルにおけるモジュール式分析と統合推論を可能にする。
• 再帰的構造を活用することで、大規模または継続的に到着するデータストリームを処理する際の計算効率を維持できる。

実験結果

リサーチクエスチョン

• RQ1 Prior-RecursiveおよびProposal-Recursive手法の長所を統合した包括的ベイズ推論フレームワークを構築することは可能か？
• RQ2 提案手法は、大規模またはストリーミングデータ環境下で、標準的な再帰的ベイズ手法と比較して、計算効率をどのように向上させるか？
• RQ3 過去の分析からの事後分布を情報豊富な事前分布として使用する場合、精度および収束速度をどの程度維持できるか？
• RQ4 階層モデルにおいて、Prior-Proposal Recursiveアプローチは、従来のMCMCや逐次的更新に比べて、どのような状況で優れているか？
• RQ5 本手法は、ビッグデータおよび最適な適応的設計の応用において、どの程度スケーラブルか？

主な発見

• 提案されたPrior-Proposal Recursiveベイズ手法は、逐次的更新とプロポーザルベースのMCMCを組み合わせることで、計算オーバーヘッドを低減し、効率的な推論を可能にする。
• データパーティション間で事後分布を事前分布として再利用することで、本手法はビッグデータおよびストリーミングデータの文脈におけるスケーラブルなベイズモデリングを支援する。
• 1段階目の事後分布をMCMCにおけるプロポーザル分布として使用することで、全モデル適合における混合性と収束性が向上する。
• 階層モデルにおいて、収束までのMCMC反復回数を削減しつつ、高い精度を維持することができる。
• 動的かつ最適にデータ収集とモデル更新を調整する必要がある最適な適応的設計シナリオに対しても、本フレームワークは適応可能である。
• 事例研究により、本手法が、計算パフォーマンスの向上を伴いながら、複雑で大規模な推論タスクを効果的に処理できることを示している。