[論文レビュー] Scaling up Dynamic Topic Models

Arnab Bhadury, Jianfei Chen+2 more|arXiv (Cornell University)|Feb 19, 2016

Gaussian Processes and Bayesian Inference参考文献 16被引用数 7

ひとこと要約

本稿では、動的トピックモデル（DTM）における事後分布推論のため、スケーラブルなギブスサンプリングと確率的勾配ランジュヴィアンダイナミクス（SGLD）を組み合わせたアルゴリズムを提案する。平均場仮定に縛られない。この手法により、大規模データセット上で効率的かつ並列に推論が可能となり、260万件のドキュメントから1,000トピックを学習するのに30分未塔で実現し、変分ベースラインより低いパープレキシティを達成した。

ABSTRACT

Dynamic topic models (DTMs) are very effective in discovering topics and capturing their evolution trends in time series data. To do posterior inference of DTMs, existing methods are all batch algorithms that scan the full dataset before each update of the model and make inexact variational approximations with mean-field assumptions. Due to a lack of a more scalable inference algorithm, despite the usefulness, DTMs have not captured large topic dynamics. This paper fills this research void, and presents a fast and parallelizable inference algorithm using Gibbs Sampling with Stochastic Gradient Langevin Dynamics that does not make any unwarranted assumptions. We also present a Metropolis-Hastings based $O(1)$ sampler for topic assignments for each word token. In a distributed environment, our algorithm requires very little communication between workers during sampling (almost embarrassingly parallel) and scales up to large-scale applications. We are able to learn the largest Dynamic Topic Model to our knowledge, and learned the dynamics of 1,000 topics from 2.6 million documents in less than half an hour, and our empirical results show that our algorithm is not only orders of magnitude faster than the baselines but also achieves lower perplexity.

研究の動機と目的

• 大規模な時系列データを扱える、スケーラブルで正確な動的トピックモデル（DTM）推論手法の不足を解消すること。
• バッチ変分推論の限界を克服すること。DTMにおける制限的な平均場近似に依存する手法は、トピック数の増加に伴いスケーリングに失敗する。
• 工業的スケールの応用（数千トピック、数百万ドキュメント）を想定した、効率的かつ並列化可能なDTM推論を可能にすること。
• 不適切な仮定を避けることで高い精度を維持しつつ、既存のベースラインと比較して1桁から2桁の高速化を達成する手法の開発。

提案手法

• アリステーブルを用いて、各単語トークンのトピック割り当てをブロックワイズギブスサンプリングとメトロポリス・ハスティングス法で行い、アモアタイズドO(1)のサンプリング複雑度を実現する。
• 非共役なロジスティック正規分布パラメータ（ηおよびα）のスケーラブルかつ効率的なサンプリングのため、ミニバッチを用いた確率的勾配ランジュヴィアンダイナミクス（SGLD）を統合する。
• 各時刻スライスを独立して処理することで、時間スライス間の依存関係を解消し、複数のマシン上で容易に並列実行可能な構造を実現する。
• データ拡張とSGLDを用いることで、平均場近似を回避し、変分法より高い事後分布近似精度を達成する。
• MPIベースの分散コンピューティングを活用し、ワーカー間通信を最小限に抑え、コア数および時刻スライス数に近い線形スケーリングを実現する。
• サンプリングパイプラインにおけるCPUキャッシュアクセスを最適化することで、単一マシン上の性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 制限的な平均場仮定を避けることのできる、スケーラブルで並列化可能なDTM推論アルゴリズムを設計できるか？
• RQ2 スケーリングされた非共役パラメータを、確率的最適化手法を用いて効率的にサンプリングできるか？
• RQ3 本手法は、大規模データセットにおいて、速度とモデル尤度（パープレキシティ）の両面で変分推論をどの程度上回るか？
• RQ4 数千トピックおよび数百万ドキュメントのスケールにおいて、通信オーバーヘッドを低く保ちながら、分散環境でもスケーリング可能か？

主な発見

• 提案されたGS-SGLDアルゴリズムは、分散システム上で260万ドキュメントから1,000トピックの動的トピックモデルを30分未塔で学習し、DTM分野における新たなスケール記録を樹立した。
• NIPSデータセットにおいて、単一マシン環境では最良のベースライン比で3.5倍の高速化、分散環境では5倍の高速化を達成した。
• 変分推論ベースラインと比較してパープレキシティを12%低減し、より高いモデル尤度とより良い事後分布近似を示した。
• 時間スライス数の増加に伴い、ほぼ線形のスケーリングを示した。これは、容易に並列化可能な設計により、イテレーションごとのサンプリング複雑度が一定を保ったままであるためである。
• 58コアを用いた場合、29個の時刻スライスを含むデータセットの推論を398.32秒で完了したが、ベースラインは1時間以内に完了できなかった。
• ミニバッチを用いたSGLDの導入により、平均場仮定を避けつつ非共役パラメータの正確なサンプリングが可能となり、モデル品質が向上した。