[論文レビュー] Streaming Gibbs Sampling for LDA Model

Yang Gao, Jianfei Chen+1 more|arXiv (Cornell University)|Jan 6, 2016

Gaussian Processes and Bayesian Inference参考文献 20被引用数 11

ひとこと要約

本稿では、潜在ディリクレ割り当て（LDA）のための、畳み込みギブスサンプリング（CGS）のオンライン拡張版であるストリーミングギブスサンプリング（SGS）を提案する。SGSは、バッチ版CGSと同等に低いパープレキシティを達成しながら、計算コストを抑える。重み減衰を適用することで、SGSはストリーミング変分ベイズ（SVB）を上回り、スパース通信を活用したスケーラブルな分散推論を可能にし、従来のオンラインモンテカルロ法に比べ顕著な改善を実現する。

ABSTRACT

Streaming variational Bayes (SVB) is successful in learning LDA models in an online manner. However previous attempts toward developing online Monte-Carlo methods for LDA have little success, often by having much worse perplexity than their batch counterparts. We present a streaming Gibbs sampling (SGS) method, an online extension of the collapsed Gibbs sampling (CGS). Our empirical study shows that SGS can reach similar perplexity as CGS, much better than SVB. Our distributed version of SGS, DSGS, is much more scalable than SVB mainly because the updates' communication complexity is small.

研究の動機と目的

• バッチ版CGSに比べて性能が著しく劣っていた、LDAにおける効果的なオンラインモンテカルロ法の欠如に取り組む。
• 高品質な推論を維持しつつ、CGSをオンライン学習に拡張するストリーミングギブスサンプリング（SGS）アルゴリズムを開発する。
• スパarsityを活用して通信帯域を低減し、大規模データセット上で高いスケーラビリティを実現する分散版DSGSを設計する。
• 実験的に、SGSがバッチ版CGSと同等のパープレキシティを達成し、SVBを上回ることを検証する。
• 新規データが段階的に到着する中でも、時間経過に伴い一貫した学習品質を維持できる、リアルタイムのモデル更新を可能にする。

提案手法

• SGSは、十分統計量（トピック-ワードおよびトピック-ドキュメントカウント）を維持し、新しいミニバッチが到着する度にそれらを段階的に更新することで、畳み込みギブスサンプリングを拡張する。
• 履歴カウントに減衰係数を適用することで、事前知識と新規データのバランスを保ち、長期的な推論安定性を向上させる。
• トピック割り当ては、標準的なCGSの条件付き確率を用いる：$ p(z_{di}=k|\bm{Z}^{-di},\bm{W}) \propto (N_{kd}^{-di} + \alpha) \frac{N_{kv_{di}}^{-di} + \beta}{N_k^{-di} + V\beta} $。
• 特に分散環境において、ワード-トピックおよびドキュメント-トピックカウントのスパarsityを活用することで、計算コストおよび通信コストを削減する。
• DSGSは、サンプリング処理を複数ノードに分散させ、各ノードが局所的な十分統計量を維持し、通信はスパースな更新のみを送信することで帯域を低減する。
• 履歴カウントに重み減衰を適用することで、初期データへの過剰適合を防ぎ、時間経過に伴う一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 LDAにおけるオンラインモンテカルロ法が、バッチ版畳み込みギブスサンプリングのパープレキシティに近づけるか？
• RQ2 減衰係数の導入が、LDAにおけるオンラインギブスサンプリングの性能および安定性に与える影響は何か？
• RQ3 ストリーミングギブスサンプリングの分散版は、大規模データセット上で高い推論品質を維持しながら効率的にスケーリングできるか？
• RQ4 SGSの計算効率は、ストリーミング変分ベイズ（SVB）およびバッチ版CGSと比べてどうか？
• RQ5 SGSの学習プロセスは、段階的なデータ到着が続く中でも、時間経過に伴い一貫した改善を示すか？

主な発見

• 最適な減衰係数0.7を用いることで、SGSはNYTデータセットで4640のパープレキシティを達成し、バッチ版CGSの4300に近く、SVBの6511を著しく上回る。
• 減衰なしのSGSバージョンでも、SVBを上回る性能を示し、NYTデータセットで5240のパープレキシティを達成しており、変分法に比べて本質的な優位性があることが示された。
• SGSはミニバッチあたりの収束速度がSVBを上回り、初期段階の性能も優れており、優れた学習ダイナミクスを示している。
• DSGSは、特にPubMedのような大規模データセットにおいて、スパース通信のおかげでSVBよりも高いスループットを達成し、より優れたスケーラビリティを実現している。
• DSGSのパープレキシティはコア数が増加しても安定またはわずかに劣化するが、NYTおよびPubMed両データセットで、すべての設定においてSVBを一貫して上回っている。
• SGSの学習プロセスは、時間経過に伴い一貫した改善を示し、テストパープレキシティがミニバッチごとに徐々に低下する。これは、SVBが示す初期の過剰適合の急増とは対照的である。