[論文レビュー] Gamma Processes, Stick-Breaking, and Variational Inference

Anirban Roychowdhury, Brian Kulis|arXiv (Cornell University)|Oct 4, 2014

Bayesian Methods and Mixture Models参考文献 18被引用数 10

ひとこと要約

本稿は、ベイズ非パラメトリックモデルにおける効率的な変分推論を可能にする、ガンマ過程の新規なスティック・ブレイキング構成を導入する。ポアソン過程の仕組みを活用してレート測度と切り捨て誤差の境界を導出し、スケーラブルな変分アルゴリズム（VGP）を構築した。この手法は、非負値行列分解タスクにおいて、サンプリングベースの手法やベータ・ベルヌーイ事前分布を用いた変分手法を上回り、特に大規模データにおいて優れた性能を示す。

ABSTRACT

While most Bayesian nonparametric models in machine learning have focused on the Dirichlet process, the beta process, or their variants, the gamma process has recently emerged as a useful nonparametric prior in its own right. Current inference schemes for models involving the gamma process are restricted to MCMC-based methods, which limits their scalability. In this paper, we present a variational inference framework for models involving gamma process priors. Our approach is based on a novel stick-breaking constructive definition of the gamma process. We prove correctness of this stick-breaking process by using the characterization of the gamma process as a completely random measure (CRM), and we explicitly derive the rate measure of our construction using Poisson process machinery. We also derive error bounds on the truncation of the infinite process required for variational inference, similar to the truncation analyses for other nonparametric models based on the Dirichlet and beta processes. Our representation is then used to derive a variational inference algorithm for a particular Bayesian nonparametric latent structure formulation known as the infinite Gamma-Poisson model, where the latent variables are drawn from a gamma process prior with Poisson likelihoods. Finally, we present results for our algorithms on nonnegative matrix factorization tasks on document corpora, and show that we compare favorably to both sampling-based techniques and variational approaches based on beta-Bernoulli priors.

研究の動機と目的

• ベイズ非パラメトリックモデルにおけるガンマ過程事前分布のためのスケーラブルな推論手法の欠如に取り組む。
• 現在、遅いMCMC手法に依存しているガンマ過程に基づくモデルのための変分推論フレームワークを開発する。
• スティック・ブレイキングを用いた構成的かつ解析的に取り扱いやすいガンマ過程の表現を提供する。
• 変分推論における無限ガンマ過程の切り捨てに起因する理論的誤差境界を導出し、ディリクレ過程やベータ過程における既存の境界と類似した形で定式化する。
• 提案手法を実世界の非負値行列分解タスクに適用し、サンプリング法および代替の変分ベースラインと比較する。

提案手法

• 完全にランダム測度（CRM）として定式化されたガンマ過程の新規なスティック・ブレイキング構成を提案し、ポアソン過程の性質を用いてレート測度を導出する。
• ガンマ過程のレヴィ測度を用いて、スティック・ブレイキング構成の正しさを検証し、元のCRMと一致することを保証する。
• 無限スティック・ブレイキング過程の切り捨てに起因する理論的誤差境界を導出し、ディリクレ過程やベータ過程における境界と類似した形で定式化する。
• 切り捨てられたスティック・ブレイキング表現を用いて、ポアソン尤度を伴う無限ガンマ・ポアソンモデルの平均場変分推論アルゴリズム（VGP）を構築する。
• ベースラインのギブスサンプリングアルゴリズムのパラメータ周辺化にマルコフ連鎖モンテカルロ統合を用いる。
• 勾配上昇法を用いて、切り捨てられたガンマ過程の重みとモデルパラメータを同時に最適化する変分アルゴリズムを実装し、学習率は10^-4のオーダーとする。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程やベータ過程と同様に、ガンマ過程に対しても構成的スティック・ブレイキング表現を導出可能か？
• RQ2 このスティック・ブレイキング構成を用いて、ガンマ過程事前分布のための取り扱いやすい変分推論アルゴリズムを導出可能か？
• RQ3 変分推論における無限ガンマ過程の切り捨てによって生じる理論的誤差は何か？また、その境界を定式化可能か？
• RQ4 提案された変分推論アルゴリズム（VGP）は、実世界の非負値行列分解タスクにおいて、サンプリングベースの手法やベータ・ベルヌーイ事前分布を用いた変分手法と比較して、スケーラビリティと精度の面で優れているか？
• RQ5 VGPアルゴリズムは、大規模データセットにおいて顕著に高速な収束と実行時間を達成しながら、高い尤度性能を維持できるか？

主な発見

• VGPアルゴリズムは、すべての実データセットでギブスサンプリングより高いホールドアウト尤度スコアを達成した。特にPsyRev（-7.23 vs. -7.45）およびKOSにおいて、より優れた一般化性能を示した。
• VGPアルゴリズムは15イテレーション未満で収束したため、テストされたすべての手法の中で最も収束が速かった。
• 大規模なNYTデータセット（30万ドキュメント）では、VGPはVIBPおよびVBPと比較して桁違いに高速であった。1イテレーションあたり約45秒で、他の手法は3分以上を要した。
• 小規模から中規模のデータセットでは、VIBPが閉形式更新のおかげでスケーリングが最も優れていたが、VGPは尤度性能で同等またはわずかに上回り、収束速度において顕著に優れていた。
• VGPアルゴリズムの性能は、数時間の実行後は切り捨て係数Kの選択にほとんど依存しなかったため、切り捨ての選択に対して頑健であることが示された。
• サンプリングベースの手法（SGP）は著しく遅く、小規模データセットでは1イテレーションあたり7分、NYTでは約100分を要した。また、実データでは競争力のある尤度スコアを達成できず、変分手法とは対照的であった。