[論文レビュー] Scalable Bayes via Barycenter in Wasserstein Space

Sanvesh Srivastava, Cheng Li+1 more|arXiv (Cornell University)|Aug 24, 2015

Markov Chains and Monte Carlo Methods参考文献 41被引用数 42

ひとこと要約

本稿では、分散データサブセットからの事後分布を組み合わせるために Wasserstein 空間におけるバーリソン（barycenter）を用いたスケーラブルなベイズ推論手法を提案する。最適輸送幾何を活用することで、理論的保証とともに、全データ事後分布の高精度な近似が可能となり、シミュレーションおよび実データにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Divide-and-conquer based methods for Bayesian inference provide a general approach for tractable posterior inference when the sample size is large. These methods divide the data into smaller subsets, sample from the posterior distribution of parameters in parallel on all the subsets, and combine posterior samples from all the subsets to approximate the full data posterior distribution. The smaller size of any subset compared to the full data implies that posterior sampling on any subset is computationally more efficient than sampling from the true posterior distribution. Since the combination step takes negligible time relative to sampling, posterior computations can be scaled to massive data by dividing the full data into a sufficiently large number of data subsets. One such approach relies on the geometry of posterior distributions estimated across different subsets and combines them through their barycenter in a Wasserstein space of probability measures. We provide theoretical guarantees on the accuracy of approximation that are valid in many applications. We show that the geometric method approximates the full data posterior distribution better than its competitors across diverse simulations and reproduces known results when applied to a movie ratings database.

研究の動機と目的

• 高次元の尤度関数とメモリ制約による、大規模データセットにおける完全ベイズ推論の計算不能性に対処する。
• パラメトリックな仮定に依存するか、事後分布のサポートが不一致を起こす既存の分割統合手法の限界を克服する。
• 幾何的構造と不確実性を保持する一般化された非パラメトリックなサブセット事後分布の組み合わせ手法を開発する。
• 広範な条件下で Wasserstein バーリソン近似の理論的一貫性を保証する。
• 分散サンプリングと幾何的組み合わせにより通信および計算コストを低減することで、実用的なスケーラビリティを実現する。

提案手法

• 全データセットをk個の互いに素なサブセットに分割し、各サブセットで並列に事後分布をサンプリング可能にする。
• 一貫性を保証するために、事前分布を 1/k 乗に変更した修正事前分布を用いて各サブセットで事後分布をサンプリングする。
• 各サブセット事後分布を、確率分布の Wasserstein 空間内での経験的確率測度として表現する。
• 線形計画法を用いて、これらの経験的測度の Wasserstein バーリソンを計算し、グローバル事後分布の近似とする。
• 事前分布の指数が分数となる場合でも、MCMC サンプリングが可能になるようにデータ拡張を用いる。
• 質量保存と適切な重み付けを保証する制約のもとで、測度間の総輸送コストを最小化する線形計画問題としてバーリソン問題を解く。

実験結果

リサーチクエスチョン

• RQ1 サブセット事後分布の Wasserstein バーリソンは、既存手法よりも全データ事後分布のより正確な近似を提供できるか？
• RQ2 バーリソンによる幾何的組み合わせは、理論的一致性および有限標本における精度においてどのように性能を発揮するか？
• RQ3 サブセット事後分布のサポートが異なったり、正規分布でなかったりする場合でも、本手法は良好な性能を維持できるか？
• RQ4 大規模データセットにおける標準的 MCMC や変分ベイズ推論と比較して、本手法の計算効率はどの程度か？
• RQ5 潜在変数を含む複雑な階層ベイズモデルや非共役事前分布にも、本手法は適用可能か？

主な発見

• Wasserstein バーリソン手法は、やや弱い正則性条件のもとで、全データ事後分布への一貫性のある近似を提供し、サブセット数に比例する理論的誤差バウンドを有する。
• 多様なシミュレーションスタディにおいて、カーネル密度結合やコンSENSUS MCMCなどの既存手法よりも、事後分布の精度とカバレッジにおいて優れた性能を発揮する。
• 実際の映画評価データセットにおいて、既知の結果を正確に再現し、実効性と頑健性を実証した。
• データ拡張の使用により、事前分布の指数が非整数でも、修正されたサブセット事後分布からの MCMC サンプリングが可能になる。
• バーリソンの計算に用いる線形計画法の定式化は計算的に扱いやすく、標準ソルバーを用いて効率的に解ける。
• サブセット間でのサンプリング分散により、高い事後分布忠実度を維持しつつ、顕著な計算高速化を達成した。