[論文レビュー] A New Approach to Speeding Up Topic Modeling

Jia Zeng, Zhiqiang Liu+1 more|arXiv (Cornell University)|Apr 1, 2012

Topic Modeling参考文献 36被引用数 13

ひとこと要約

本稿では、潜在ディリクレ割り当て（LDA）の高速かつ高精度なバッチアルゴリズムとして、アクティブ信念伝搬（ABP）を提案する。ABPは、各反復でメッセージ残差に基づき、最も情報量の多い10–20%のドキュメントとトピックのみを的確にスキャンすることで、トレーニングを高速化する。ABPは、実世界のコーパスにおいて、最先端のバッチLDA手法と同等のトピックモデリング精度を維持しながら、10–100倍の高速化を達成する。

ABSTRACT

Latent Dirichlet allocation (LDA) is a widely-used probabilistic topic modeling paradigm, and recently finds many applications in computer vision and computational biology. In this paper, we propose a fast and accurate batch algorithm, active belief propagation (ABP), for training LDA. Usually batch LDA algorithms require repeated scanning of the entire corpus and searching the complete topic space. To process massive corpora having a large number of topics, the training iteration of batch LDA algorithms is often inefficient and time-consuming. To accelerate the training speed, ABP actively scans the subset of corpus and searches the subset of topic space for topic modeling, therefore saves enormous training time in each iteration. To ensure accuracy, ABP selects only those documents and topics that contribute to the largest residuals within the residual belief propagation (RBP) framework. On four real-world corpora, ABP performs around $10$ to $100$ times faster than state-of-the-art batch LDA algorithms with a comparable topic modeling accuracy.

研究の動機と目的

• 各反復において全コーパスおよびトピック空間をスキャンする必要があるバッチLDAアルゴリズムの高い計算コストを軽減すること。
• 多くのトピック（K ≥ 1000）およびドキュメント（D ≥ 10^6）を含む大規模コーパスのトレーニング時間を短縮すること。
• 知的なサブセット選択を通じて、収束を著しく高速化しつつ、高いトピックモデリング精度を維持すること。
• 大規模データアプリケーションに適したスケーラブルでメモリ効率の良いバッチLDAアルゴリズムを開発すること。

提案手法

• ABPは、メッセージ残差（連続反復間のメッセージの絶対差）を用いて、最も動的変化する成分を特定する残差信念伝搬（RBP）フレームワーク内に構築される。
• 各反復において、ABPはメッセージ残差をソートし、最大の残差を持つ上位10–20%のドキュメントおよびトピックのみをメッセージ更新および伝達対象として選択する。
• アルゴリズムは、Eステップが高残差メッセージのみを更新し、Mステップが選択されたサブセットからのパラメータ推定を行う、高速な期待最大化（EM）アルゴリズムとして解釈される。
• ABPは、メッセージ残差がおおよそジプの法則に従うという観察を活用しており、これは少数のドキュメントおよびトピックが大部分の残差エネルギーを占めることを意味し、効率的なプルーニングが可能になる。
• 本手法は、ガウス・ミックスチャネル・モデルや隠れマルコフモデルを含む、他のLDAベースのモデルおよび潜在変数モデルへの拡張が可能である。
• ABPは、残差の大きさに基づく動的スケジューリング戦略を採用しており、収束が遅い成分に対しては無駄な計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 メッセージ残差に基づくドキュメントおよびトピックの選択的スキャンが、精度を損なわずにバッチLDAのトレーニング時間を著しく短縮できるか。
• RQ2 上位10–20%の残差が最大のドキュメントおよびトピックが、LDAトレーニングにおける収束進捗の大部分を占める程度はどの程度か。
• RQ3 大規模な実世界コーパスにおいて、ABPは最先端のバッチおよび並列LDAアルゴリズムと比べて、速度および精度でどの程度優れるか。
• RQ4 オンラインLDA手法と同等またはそれ以上の性能を達成できるか、かつ収束が安定であるバッチアルゴリズムとしてのABPの有効性は。
• RQ5 大規模コーパス（KおよびDが大きい）において、ABPの非線形時間計算量が実際の運用で達成可能か。

主な発見

• ABPは、ENRON、NYTIMES、PUBMED、NIPSを含む4つの実世界コーパスにおいて、最先端のバッチLDAアルゴリズムと比較して10～100倍の高速化を達成した。
• NIPSコーパスでは、ABP1が1反復あたり0.09秒のトレーニング時間で予測パープレキシティ0.38を達成し、32プロセッサで実行されるPGSを速度および精度の両面で上回った。
• K=500の場合、ABP1はPGSより低い予測パープレキシティを達成しており、1プロセッサで使用しているにもかかわらず、1反復あたりの処理時間がPGSを上回る。
• メッセージ残差のジプの法則的分布のおかげで、ドキュメントおよびトピックの10%ずつしか選択しなくても、高い精度を維持できる。
• ABPはドキュメント数（D）およびトピック数（K）に対して非線形にスケーリングされ、λ_dおよびλ_kが固定されている場合、非常に大規模なコーパスにおいてもほぼ一定のトレーニング時間を実現できる。
• ABPは、OGSおよびOVBといったオンラインLDA手法を速度および精度の両面で上回り、32プロセッサで実行されるPGSよりも高速かつ高精度である。