[論文レビュー] Streaming Variational Bayes

Tamara Broderick, Nicholas Boyd+3 more|arXiv (Cornell University)|Jul 25, 2013

Bayesian Methods and Mixture Models参考文献 20被引用数 120

ひとこと要約

本稿では、変分ベイズを近似プリミティブとして用いる、ストリーミングで分散かつ非同期な近似ベイズ推論のためのフレームワーク、SDA-Bayesを紹介する。各データバッチの後でリアルタイムに事後分布を更新可能であり、確率的変分ベイズ（SVI）が事前に固定された全データサイズDを必要とするという制限を克服する。大規模な文書コレクションにおいて、LDAモデルで優れた性能を示す。

ABSTRACT

We present SDA-Bayes, a framework for (S)treaming, (D)istributed, (A)synchronous computation of a Bayesian posterior. The framework makes streaming updates to the estimated posterior according to a user-specified approximation batch primitive. We demonstrate the usefulness of our framework, with variational Bayes (VB) as the primitive, by fitting the latent Dirichlet allocation model to two large-scale document collections. We demonstrate the advantages of our algorithm over stochastic variational inference (SVI) by comparing the two after a single pass through a known amount of data---a case where SVI may be applied---and in the streaming setting, where SVI does not apply.

研究の動機と目的

• 確率的変分ベイズ（SVI）の制限を解決すること：事後分布の近似に、事前に固定された全データサイズDを必要とする点。
• 各バッチ処理後に逐次的に事後分布を更新する真のストリーミングベイズ推論を可能にすること。これにより、処理済みの文書数を反映した事後分布が得られる。
• 大規模データワークロードに適した分散および非同期計算と互換性を持つスケーラブルなフレームワークの開発。
• Wikipedia や Nature といった実世界の文書コレクションを用いた、潜在ディリクレ割り当て（LDA）モデルにおけるフレームワークの有効性の実証。
• SVIが学習率やデータサイズの推定値に敏感であるのを克服し、Dの推定が不正確であっても性能が低下しないようにすること。

提案手法

• 各新しいデータミニバッチが、直前の事後分布を事前分布として用いて、逐次的に事後分布を更新する再帰的ベイズ更新プロセスを定式化する。
• 各ミニバッチ処理後に事後分布近似を計算するために、ユーザーが指定する近似プリミティブとして変分ベイズ（VB）を用いる。
• ストリーミング更新ルールを定義：$ q_b(\Theta) = \mathcal{A}(C_b, q_{b-1}(Θ)) $、ここで $ \mathcal{A} $ は現在のミニバッチと直前のステップからの事前分布に対してVBを適用する。
• 更新プロセスを順序依存性から分離することで、分散および非同期計算をサポートする。
• LDAにこのフレームワークを適用し、各文書ミニバッチ処理後にトピック分布の事後分布をVBで近似する。
• 1データポイントあたりの計算量を一定に保つことで、過去のデータを再訪問することなくスケーラビリティとリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 真のストリーミング更新をサポートするベイズ推論フレームワークは設計可能か？ すなわち、処理済みの文書数を反映した事後分布が得られるか？
• RQ2 全データサイズDが不明または誤って推定された場合、SDA-Bayesの性能は確率的変分ベイズ（SVI）と比べてどの程度優れるか？
• RQ3 ストリーミング環境下で、学習率やミニバッチサイズといったハイパーパrameterの選択にどの程度頑健か？
• RQ4 分散システム上で効率的に並列化され、スケーリング可能でありながら、精度と収束性を維持できるか？
• RQ5 ストリーミング環境下で変分ベイズを近似プリミティブとして用いる場合、期待値プロパイゲーション（EP）などの代替手法を上回る性能を示せるか？

主な発見

• SDA-Bayesは各ミニバッチ処理後に近似事後分布を正確に計算でき、事前に全データサイズDを指定する必要がないため、リアルタイム推論が可能である。
• SVIとは異なり、真のデータサイズDが不明または誤って推定されても、SDA-Bayesは安定した性能を維持する。Dの値が真のサイズの0.01倍から100倍の範囲で変動する感度分析においても同様の結果が得られた。
• Dの推定が不正確な場合、SVIの性能は著しく低下し、一部のケースでは対数予測尤度が1.5単位以上低下するが、SDA-Bayesはその影響を受けにくい。
• SVIとは異なり、学習率のチューニングに敏感ではなく、ステップサイズパラメータに強く依存しない。
• EPを用いたSDA-BayesはLDAで収束に失敗し、Wikipediaでは91時間以上、Natureでは97時間以上を要し、対数予測尤度はそれぞれ約-7.95および-8.02にとどまった。
• VBを用いたSDA-Bayesは、大規模な文書コレクションにおいて安定的かつ高精度な推論を実現し、ストリーミング環境におけるスケーラビリティと適応性を示した。