[論文レビュー] Online Belief Propagation for Topic Modeling

Jia Zeng, Zhiqiang Liu+1 more|arXiv (Cornell University)|Oct 8, 2012

Data Stream Mining Techniques参考文献 52被引用数 12

ひとこと要約

本稿では、確率的近似を活用することで、データストリームからの高速かつメモリ効率の良いトピック抽出を可能にする、トピックモデリングのための新しいオンライン推論アルゴリズムであるオンライン・ベルリーフプロパゲーション（OBP）を提案する。OBPは、最先端のオンラインLDA手法と比較して予測の perplexity が低く、学習が速く、LDA尤度関数の局所的停留点に収束する。

ABSTRACT

The batch latent Dirichlet allocation (LDA) algorithms play important roles in probabilistic topic modeling, but they are not suitable for processing big data streams due to high time and space compleixty. Online LDA algorithms can not only extract topics from big data streams with constant memory requirements, but also detect topic shifts as the data stream flows. In this paper, we present a novel and easy-to-implement online belief propagation (OBP) algorithm that infers the topic distribution from the previously unseen documents incrementally within the stochastic approximation framework. We discuss intrinsic relations between OBP and online expectation-maximization (OEM) algorithms, and show that OBP can converge to the local stationary point of the LDA's likelihood function. Extensive empirical studies confirm that OBP significantly reduces training time and memory usage while achieves a much lower predictive perplexity when compared with current state-of-the-art online LDA algorithms. Due to its ease of use, fast speed and low memory usage, OBP is a strong candidate for becoming the standard online LDA algorithm.

研究の動機と目的

• 大規模なデータストリーム処理におけるバッチLDAの時間的・空間的計算量の高さという限界を解消する。
• 動的データストリームを処理しながら、定常的なメモリ使用量を維持するオンライン推論手法を開発する。
• データの変化に伴いトピックのシフトを検出可能にする。
• 既存のオンラインLDAアルゴリズムと比較して、学習速度を向上させ、予測 perplexity を低減する。
• 実時間トピックモデリングに適した、単純で効果的かつスケーラブルな、現在のオンラインLDA手法の代替手段を提供する。

提案手法

• OBPは、新規に到着するドキュメントから逐次的にトピック分布を推定するための確率的近似フレームワークを採用する。
• 計算効率が良く、ストリーミングデータに適した方法で、信念伝播の原則を用いてトピック割り当てを更新する。
• 過去のデータを完全に再処理しないことで、固定されたメモリフットプリントを維持する。
• OBPは、LDA尤度関数の局所的停留点への収束という理論的基盤を有する。
• OBPはオンライン期待最大化（OEM）アルゴリズムと明確な関係を確立し、最適化ダイナミクスを明確にしている。
• 既存のオンライントピックモデリングパイプラインへの実装および統合を容易にするように設計されている。

実験結果

リサーチクエスチョン

• RQ1 オンライントピックモデリングアルゴリズムは、低メモリ使用量と高速な推論速度を両立させながら、高い予測精度を維持できるか？
• RQ2 OBPは、最先端のオンラインLDA手法と比較して、学習時間とメモリ消費量においてどのように異なるか？
• RQ3 OBPは、LDA尤度関数の局所的停留点のような意味のある解に収束するか？
• RQ4 OBPは、進化するデータストリームにおけるトピックシフトを効果的に検出できるか？
• RQ5 OBPの実証的性能、特に予測 perplexity は、既存手法と比較してどうか？

主な発見

• OBPは、現在の最先端のオンラインLDAアルゴリズムと比較して、著しく学習時間を短縮する。
• アルゴリズムは定常的なメモリ使用量を維持しており、大規模かつリアルタイムのデータストリーム処理に適している。
• OBPは、既存のオンラインLDA手法と比較して、はるかに低い予測 perplexity を達成しており、より良い一般化性能とモデル適合度を示している。
• 理論的分析により、OBPがLDA尤度関数の局所的停留点に収束することが確認された。
• 実証的分析により、OBPが既存のオンライン推論手法よりも高速かつ正確であることが示された。
• その単純さ、高速性、低メモリ使用量のため、OBPは将来的に標準のオンラインLDAアルゴリズムとなる強力な候補である。