[論文レビュー] Stochastic Expectation Propagation

Yingzhen Li, José Miguel Hernández-Lobato+1 more|arXiv (Cornell University)|Jun 12, 2015

Gaussian Processes and Bayesian Inference参考文献 19被引用数 29

ひとこと要約

本稿では、ミニバッチデータに対するストキャスティックで局所的な更新を用いてグローバル事後分布近似を逐次更新することにより、期待値伝搬（EP）の精度と変分ベイズ推論（VI）のメモリ効率を両立するスケーラブルなベイズ推論手法、Stochastic Expectation Propagation（SEP）を提案する。SEPは、全EPと比較してN倍のメモリ消費量削減を達成しながらも、合成データおよび実世界のデータセット（ニューラルネットワークを含む大規模な確率的モデルを含む）において競争力ある精度を維持する。

ABSTRACT

Expectation propagation (EP) is a deterministic approximation algorithm that is often used to perform approximate Bayesian parameter learning. EP approximates the full intractable posterior distribution through a set of local approximations that are iteratively refined for each datapoint. EP can offer analytic and computational advantages over other approximations, such as Variational Inference (VI), and is the method of choice for a number of models. The local nature of EP appears to make it an ideal candidate for performing Bayesian learning on large models in large-scale dataset settings. However, EP has a crucial limitation in this context: the number of approximating factors needs to increase with the number of data-points, N, which often entails a prohibitively large memory overhead. This paper presents an extension to EP, called stochastic expectation propagation (SEP), that maintains a global posterior approximation (like VI) but updates it in a local way (like EP). Experiments on a number of canonical learning problems using synthetic and real-world datasets indicate that SEP performs almost as well as full EP, but reduces the memory consumption by a factor of $N$. SEP is therefore ideally suited to performing approximate Bayesian learning in the large model, large dataset setting.

研究の動機と目的

• 大規模ベイズ学習における期待値伝搬（EP）の prohibitively 高いメモリオーバーヘッドに対処すること。EPでは、データポイント数Nに比例して局所的近似要因の数が増加する。
• 滑らかでない尤度関数を有するモデルにおいてもEPが示す高い精度を維持しながら、そのメモリのボトルネックを回避すること。
• 変分ベイズ推論（VI）のようにグローバル事後分布近似を維持しつつ、EPのようにデータサブセットに基づく局所的計算による更新を実現することでスケーラビリティを確保する方法の開発。
• 得られたアルゴリズム、Stochastic EP（SEP）が、実世界および合成データセットにおいて、全EPと同等の性能を示しつつも、著しく低いメモリ使用量を達成することの実証。

提案手法

• SEPは、各データポイントごとに要因を保存するのではなく、ランダムに選択されたミニバッチからの推定値を用いて反復的に更新されるグローバル事後分布近似 q(θ) を維持する。
• 各イテレーションで、データのミニバッチが選択され、全EPに類似した局所的更新がグローバル近似に対して実行される。EPの局所的精錬プロセスを模倣するが、各データポイントごとの要因を保存しない。
• 収束の安定化のため、Stochastic Variational Inference（SVI）と同様に減衰付き更新が用いられ、最適化中のロバスト性が確保される。
• SEPは、自然にパワーEP（PEP）フレームワークへ一般化可能であり、潜在変数や複雑な尤度関数を有するモデルへの応用を可能にする。
• 近似の粒度を制御可能であり、より細かい更新を実現するためのデータパーティショニング戦略への拡張も可能である。
• モーメントマッチングと局所的近似を活用して、N個の別個要因を保存する必要なく、グローバル分布を効率的に更新する。

実験結果

リサーチクエスチョン

• RQ1 大規模ベイズ学習において、期待値伝搬（EP）の高い精度を維持しつつ、O(N)のメモリオーバーヘッドを回避することは可能か？
• RQ2 EPのように、データサブセットに基づく真正の局所的更新を実行しつつ、グローバル事後分布近似を維持することは可能か？
• RQ3 実世界および合成データセットにおいて、SEPの性能は全EPおよびADFと比較して、精度とメモリ効率の両面でどのように異なるか？
• RQ4 SEPは、大規模データセットを有する確率的ニューラルネットワーク（例：確率的バックプロパゲーション）のような複雑なモデルに効果的に適用可能か？
• RQ5 ミニバッチサイズおよび更新の減衰が、アルゴリズムの収束性と安定性に与える影響は何か？

主な発見

• SEPは、Kin8nm、Naval、Power、Protein、Wine、Yearを含む複数のUCI回帰データセットにおいて、全EPと同等のテストRMSEおよび対数尤度値を達成した。
• Proteinデータセットでは、EPの694 MBから大幅に低いメモリ使用量にまで削減され、N倍のメモリ削減が確認された。
• Yearデータセットでは、EPの65,107 MBからスケーラブルな水準にまで削減され、N倍のメモリ利点が裏付けられた。
• 確率的バックプロパゲーションの実験では、SEPは一部のケースでADFを上回り、EPと同等の精度を達成しながらも、はるかに少ないメモリを使用した。
• ADFはPBP設定においてEPを上回ることが多かったが、これはADFのグローバル更新とモーメント近似の相互作用が有益である可能性を示唆する。しかし、SEPは精度とメモリのバランスをより優れたものとして提供した。
• ベイズロジスティック回帰およびガウス・ミックス・モデルにおいても、SEPは競争力ある性能を示し、さまざまなモデルクラスへの一般適用性を確認した。