[論文レビュー] Scalable Nonparametric Sampling from Multimodal Posteriors with the Posterior Bootstrap

Edwin Fong, Simon Lyddon+1 more|arXiv (Cornell University)|May 24, 2019

Bayesian Methods and Mixture Models被引用数 11

ひとこと要約

本稿では、ランダム化された目的関数の最適化により、多次元モードを持つ事後分布からのサンプリングを可能にするスケーラブルで非パrametricなベイズ推論手法を提案する。モデル不適合を扱うためにディリクレ過程の事前分布を用いることで、非パrametric事後分布からの明確な並列サンプリングが可能となり、従来のMCMCに比べて事後分布の各モード間での混合性能が著しく向上する。

ABSTRACT

Increasingly complex datasets pose a number of challenges for Bayesian inference. Conventional posterior sampling based on Markov chain Monte Carlo can be too computationally intensive, is serial in nature and mixes poorly between posterior modes. Further, all models are misspecified, which brings into question the validity of the conventional Bayesian update. We present a scalable Bayesian nonparametric learning routine that enables posterior sampling through the optimization of suitably randomized objective functions. A Dirichlet process prior on the unknown data distribution accounts for model misspecification, and admits an embarrassingly parallel posterior bootstrap algorithm that generates independent and exact samples from the nonparametric posterior distribution. Our method is particularly adept at sampling from multimodal posterior distributions via a random restart mechanism. We demonstrate our method on Gaussian mixture model and sparse logistic regression examples.

研究の動機と目的

• 多次元事後分布におけるMCMCの計算非効率性と悪い混合性能を解消すること。
• 従来のMCMCに代わるスケーラブルな代替手法を提供し、本質的に並列であり、逐次依存性を回避すること。
• 複雑なデータセットにおけるモデル不適合を、データ分布にディリクレ過程事前分布を用いることで明示的に扱うこと。
• ランダム化された最適化フレームワークを用いて、多次元性に強い耐性を持つ正確な事後分布サンプリングを可能にすること。
• ガウス・ミックスチャネル・モデルやスパース・ロジスティック回帰といった挑戦的なモデルにおける有効性を示すこと。

提案手法

• 未知のデータ分布にディリクレ過程事前分布を適用することで、不確実性をモデル化し、モデル不適合を扱う。
• 事後ブートストラップから導出されたランダム化された目的関数を導入し、最適化による独立なサンプリングを可能にする。
• 事後ブートストラップアルゴリズムは、ディリクレ分布から抽出された重みを用いてデータを再サンプリングすることで、非パラメトリック事後分布からの独立したサンプルを生成する。
• 各サンプルがランダム化された目的関数の最適化によって独立に生成できるため、本質的に並列なアプローチとなる。
• ランダムなリスタート機構により、特に多次元事後分布において複数のモードを効果的に探索できる。
• マルコフ連鎖のシミュレーションに代えて、ランダム化された目的関数の最適化を用いることでMCMCを回避し、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 多次元事後分布を伴う複雑で高次元なデータセットにスケーラブルに適応できる非パラメトリックベイズ手法を設計できるか？
• RQ2 パラメトリック仮定に依存せずに、事後分布サンプリングにおいてモデル不適合を明示的に扱う方法は何か？
• RQ3 正確性を保ちつつMCMCの収束問題を回避し、事後分布サンプリングを本質的に並列化できるか？
• RQ4 ランダムリスタート機構が複数の事後分布モード間での混合性能をどの程度向上させるか？
• RQ5 実世界のモデルにおいて、従来のMCMCと比較して、計算効率とサンプリング精度の点で本手法はどのように差をつけるか？

主な発見

• 最適化を用いることで、MCMCの逐次依存性を回避し、非パラメトリック事後分布からの正確かつ独立したサンプリングが可能になった。
• 事後ブートストラップフレームワークは本質的に並列であるため、従来のMCMCに比べて計算スケーラビリティが著しく向上した。
• ディリクレ過程事前分布はモデル不適合を効果的に扱い、複雑なデータ環境におけるロバスト性を高めた。
• ランダムリスタート機構により複数の事後分布モードが効果的に探索され、多次元分布における混合性能が向上した。
• ガウス・ミックスチャネル・モデルおよびスパース・ロジスティック回帰における実験結果から、優れた性能とスケーラビリティが示された。
• 特に高次元または複雑な尤度の地形を有する状況では、標準的なMCMCに比べてモード間での混合性能が顕著に向上した。