[論文レビュー] Simple, Scalable and Accurate Posterior Interval Estimation

Cheng Li, Sanvesh Srivastava+1 more|arXiv (Cornell University)|May 13, 2016

Gaussian Processes and Bayesian Inference参考文献 27被引用数 4

ひとこと要約

この論文は、データサブセット上で並列にマルコフ連鎖モンテカルロ（MCMC）を実行し、得られた分位数推定値を平均化することで、大規模データ環境における事後区間推定のための単純でスケーラブルで理論的裏付けのある手法を提案する。この手法は、フルデータMCMCと同等の高い精度を達成しながら、計算効率が高く、コード変更が最小限で済む。

ABSTRACT

There is a lack of simple and scalable algorithms for uncertainty quantification. Bayesian methods quantify uncertainty through posterior and predictive distributions, but it is difficult to rapidly estimate summaries of these distributions, such as quantiles and intervals. Variational Bayes approximations are widely used, but may badly underestimate posterior covariance. Typically, the focus of Bayesian inference is on point and interval estimates for one-dimensional functionals of interest. In small scale problems, Markov chain Monte Carlo algorithms remain the gold standard, but such algorithms face major problems in scaling up to big data. Various modifications have been proposed based on parallelization and approximations based on subsamples, but such approaches are either highly complex or lack theoretical support and/or good performance outside of narrow settings. We propose a very simple and general posterior interval estimation algorithm, which is based on running Markov chain Monte Carlo in parallel for subsets of the data and averaging quantiles estimated from each subset. We provide strong theoretical guarantees and illustrate performance in several applications.

研究の動機と目的

• 従来のMCMCが遅いため、大規模データにおけるスケーラブルな不確実性の定量化の課題に対処すること。
• 変分ベイズなどの既存のスケーラブルな手法がしばしば事後分散を小さく見積もるという限界を克服すること。
• 事後信用区間を推定するにあたり、計算的に効率的で理論的裏付けのある手法を開発すること。
• 既存のMCMCコードベースを最小限の変更で大規模データにスケールアップできるようにすること。
• 難解な結合手順を避ける、理論的裏付けのある代替手法を提供すること。

提案手法

• 大規模データセットを重複のないサブセットに分割し、並列性の高いMCMCサンプリングを可能にする。
• 各サブセットに対して標準的なMCMCアルゴリズムを独立に実行し、サブセット事後分布のサンプルを生成する。
• 各一変量関数的量について、各サブセットの事後サンプルから経験的分位数（例：95％信用区間）を計算する。
• すべてのサブセットにおける下位および上限分位数推定値を平均化して、最終的な事後区間推定値を取得する。
• この手法はモデルの再パラメータライゼーションに対して不変であり、複雑な密度推定や幾何的中心化手順を回避する。
• 理論的分析により、やや弱い正則性条件下で平均化された分位数推定値の一貫性と収束速度が確立される。

実験結果

リサーチクエスチョン

• RQ1 サブセット事後分布からの分位数の単純な平均化は、大規模データ環境で正確な事後区間推定を達成できるか？
• RQ2 提案手法の性能は、フルデータMCMCや変分ベイズ、コンセンサスモンテカルロなどの他のスケーラブルな代替手法と比べてどうか？
• RQ3 提案フレームワーク下で、平均化された分位数推定値の正確性に関する理論的保証は何か？
• RQ4 この手法は、多様なデータ構造やモデルタイプにわたり、良好なカバレッジ特性を維持し、頑健性を保つことができるか？
• RQ5 既存のMCMCコードベースに対して最小限の変更で実装可能であり、著しい高速化を達成できるか？

主な発見

• 提案された事後区間推定（PIE）手法は、米国出生データ解析において、フルデータMCMCとほとんど区別できない信用区間推定を達成した。
• 出生データの応用において、PIEは90％信用区間をフルデータMCMCの結果とよく一致させ、切片の平均カバレッジ精度が0.55（SD 0.12）を示し、MCMCやWASPと同等であった。
• すべての共変数において優れた性能を示し、精度指標（例：gestatで0.91、maleで0.87）が変分ベイズやコンセンサスモンテカルロと同等またはそれを上回った。
• 計算面では、フルMCMCよりも著しく高速であり、他のスケーラブルな手法と同等の性能を示し、実行時間はデータサイズに線形にスケーリングされた。
• 理論的分析により、平均化された分位数推定器が一貫しており、正則性条件下でO(1/√n)の速度で収束することが確認された。
• PIE手法は、バッグ・オブ・リトル・ブートストラップ（Bag of Little Bootstraps）のベイジアン解釈を提供し、その信頼区間がブートストラップ分布のワッサーシュタイン中央値に一致することを示した。