[論文レビュー] Stochastic Variational Inference

Matt Hoffman, David M. Blei+2 more|arXiv (Cornell University)|Jun 29, 2012

Bayesian Methods and Mixture Models参考文献 99被引用数 27

ひとこと要約

この論文は、大規模な確率的モデルにおける近似ベイズ推論のスケーラブルな手法である確率的変分推論（SVI）を導入する。バッチ最適化の代わりにミニバッチデータからの勾配推定を用いた確率的勾配更新を採用することで、SVIは大規模データセット上での効率的な推論を可能にした—Nature、ニューヨーク・タイムズ、Wikipedia からのデータを用いたトピックモデルで、380万件のドキュメントまで処理可能—従来の変分推論に比べて速度とスケーラビリティに優れながらも、精度を維持していることが示された。

ABSTRACT

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

研究の動機と目的

• 大規模データセットに応用する際の従来の変分推論のスケーラビリティの限界を克服すること。
• 大規模なドキュメントコレクションやその他の高次元データにスケーリング可能な汎用の推論アルゴリズムを開発すること。
• 標準の推論手法では処理が困難なデータセットにおいて、複雑なベイズモデル（非パラメトリックモデルを含む）を用いることを可能にすること。
• Nature、ニューヨーク・タイムズ、Wikipedia からのデータを用いた、実世界の大規模トピックモデリングタスクにおける手法の有効性を実証すること。

提案手法

• 従来の変分推論におけるバッチ座標上昇を、ミニバッチデータからのノイズのある勾配推定を用いた確率的最適化に置き換える。
• 収束性と安定性を向上させるために、変分パラメータ空間における自然勾配更新を採用する。
• グローバルおよびローカルな潜在変数を有するモデルでは、アルゴリズムがローカルな変分パラメータの更新と、サブサンプルされたデータを用いたグローバルパラメータの確率的更新を交互に繰り返す。
• 指数型指数分布族のモデルを想定することで、十分統計量および期待値の効率的計算が可能となる。
• 主なイノベーションの一つとして、収束を保証するため、時間とともに減少するステップサイズを用いた不偏な確率的勾配によるグローバルパラメータの更新を採用する。
• パラメトリックおよび非パラメトリックなベイズモデルの両方をサポートし、特に潜在ディリクレ配分（LDA）および階層的ディリクレ過程トピックモデルを含む。

実験結果

リサーチクエスチョン

• RQ1 従来のバッチ手法が計算的に非現実的となるような大規模データセットにおいて、変分推論をスケーリング可能にすることができるか？
• RQ2 確率的最適化を効果的に変分推論と組み合わせることで、精度を維持しつつ速度を向上させることができるか？
• RQ3 提案手法は、大規模データにおいて、収束速度および最終的なモデル品質の面で、標準的な変分推論を上回る性能を示すか？
• RQ4 確率的変分推論は、階層的ディリクレ過程のような非パラメトリックベイズモデルに適用可能であり、性能向上をもたらすか？
• RQ5 後退事後分布の近似という文脈において、確率的勾配更新の理論的および実証的性質は何か？

主な発見

• 確率的変分推論は、380万件のドキュメント（ニューヨーク・タイムズから180万件、Natureから30万件を含む）のデータセットにまでスケーリング可能であることが確認された。
• 従来のバッチ変分推論とは異なり、数10万件を超えるデータセットでは性能が著しく劣るが、SVIは収束が早く、トレーニング時間が短い。
• ベイズ非パラメトリックトピックモデル（階層的ディリクレ過程）は、予測尤度およびトピックの一貫性という観点で、そのパラメトリックな対応（LDA）を上回る性能を示した。
• ステップサイズを時間とともに減少させることで、確率的勾配更新は、下界（ELBO）の定常点に収束することが保証された。
• 不偏な確率的勾配と自然パラメータ更新の導入により、小さなミニバッチでも高品質な事後分布近似を維持できる。
• 実証的結果から、SVIは大規模なテキストコーパスにおいて、トレーニング時間を桁違いに短縮しながら、バッチ手法と同等またはそれ以上の性能を達成していることが示された。