[論文レビュー] Unbiased Bayes for Big Data: Paths of Partial Posteriors

Heiko Strathmann, Dino Sejdinović+1 more|arXiv (Cornell University)|Jan 14, 2015

Gaussian Processes and Bayesian Inference参考文献 24被引用数 15

ひとこと要約

この論文は、部分的な事後パスとデバイアス化補題を活用することで、Big Data環境下でのベイジアン事後期待値推定に対して不偏で、計算量が部分線形となる手法を提案する。有限で制御可能な分散を達成し、近似遷移核を必要とせず、バイアスも発生させない。MCMC や確率的変分ベイズ推論（SVI）と比較して、大規模データセット上での精度と速度で優れている。

ABSTRACT

A key quantity of interest in Bayesian inference are expectations of functions with respect to a posterior distribution. Markov Chain Monte Carlo is a fundamental tool to consistently compute these expectations via averaging samples drawn from an approximate posterior. However, its feasibility is being challenged in the era of so called Big Data as all data needs to be processed in every iteration. Realising that such simulation is an unnecessarily hard problem if the goal is estimation, we construct a computationally scalable methodology that allows unbiased estimation of the required expectations -- without explicit simulation from the full posterior. The scheme's variance is finite by construction and straightforward to control, leading to algorithms that are provably unbiased and naturally arrive at a desired error tolerance. This is achieved at an average computational complexity that is sub-linear in the size of the dataset and its free parameters are easy to tune. We demonstrate the utility and generality of the methodology on a range of common statistical models applied to large-scale benchmark and real-world datasets.

研究の動機と目的

• Big Dataにおけるマルコフ連鎖モンテカルロ法（MCMC）の計算不能性に対処し、完全な事後分布のシミュレーションを回避すること。
• ミニバッチMCMC手法が事後分布を近似することで生じるバイアスを克服すること。
• 完全な事後分布からのシミュレーションなしに事後期待値を推定するフレームワークを開発し、不偏性と有限な分散を保証すること。
• データサイズ $ N $ に対して平均計算量が部分線形となるようにしながら、推定誤差の精度と制御を維持すること。
• 任意のMCMCまたは閉形式推論手法と互換性があり、一般用途で即座に利用可能なソリューションを提供すること。

提案手法

• データのランダムサブセットから得られる部分的な事後統計量に、デバイアス化補題を適用することで、事後期待値の不偏推定量を構築する。
• 各パスがデータのランダムサブセット上で計算された事後分布である、ランダムな停止時刻 $ T $ を用いる。
• 不偏性と推定量の有限な分散を保証するために、$ T $ に幾何分布を用いる。
• 複数の独立した部分事後推定量をデバイアス化補題を用いて組み合わせ、完全な事後期待値の単一の不偏推定量を形成する。
• 停止分布のチューニングにより分散を制御し、$ N $（データポイント数）に対して計算量が部分線形となるように保証する。
• 既存のMCMCまたは解析的推論手法とシームレスに統合され、下位の推論エンジンに変更を加える必要がない。

実験結果

リサーチクエスチョン

• RQ1 完全な事後分布からのシミュレーションなしに、不偏性と有限な分散を保ちながら事後期待値を推定できるか？
• RQ2 Big Data環境下で、ベイジアン事後期待値推定の計算量を $ N $ に対して部分線形にできるか？
• RQ3 大規模な実世界データセット上での精度と速度において、提案手法は完全なMCMCおよび確率的変分ベイズ推論（SVI）を上回るか？
• RQ4 提案されたデバイアス化フレームワークにおいて、計算コストと分散のトレードオフは何か？
• RQ5 モデル固有の修正を加えずに、さまざまなモデルや推論手法に一般に適用可能か？

主な発見

• 提案手法は、Big Data環境下でも不偏な事後期待値推定を実現し、有限で制御可能な分散を達成している。
• 平均計算量はデータポイント数 $ N $ に対して部分線形であり、大規模データセット上では完全なMCMCよりも高速に推定が可能である。
• データサイズ $ N = 32,561 $ の a9a データセットにおいて、最初の回帰重み $ eta_1 $ の事後平均は、完全なMCMCが1サンプルを生成するのを数日間も要する中、本手法がより速くかつ正確に推定された。
• ドメイン固有の構造を利用しない状態でも、最先端の確率的変分ベイズ推論（SVI）を上回る性能を発揮した。
• 部分事後パスが早期に安定化しても、デバイアス化は信頼性高く収束し、選択した停止分布のもとで完全な事後分布のサンプリングは低確率でしか発生しない。
• フレームワークは非常に並列化が容易であり、自由パラメータのチューニングが最小限で済み、実世界での導入に実用的である。