[論文レビュー] Memory-Efficient Topic Modeling

Jia Zeng, Zhiqiang Liu+1 more|arXiv (Cornell University)|Jun 6, 2012

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、メッセージ渡しと非負値行列分解（NMF）を統合することで、以前のメッセージを格納する必要をなくし、メモリ効率の良い手法であるTiny Belief Propagation（TBP）を提案する。TBPは、従来の方法に比べて顕著に低いメモリ使用量で、最先端のトピックモデリング精度を達成し、7 GBのPubMedデータなど大規模コーパスのLDA学習を、標準的なデスクトップPC（2 GB RAM）でも可能にする。

ABSTRACT

As one of the simplest probabilistic topic modeling techniques, latent Dirichlet allocation (LDA) has found many important applications in text mining, computer vision and computational biology. Recent training algorithms for LDA can be interpreted within a unified message passing framework. However, message passing requires storing previous messages with a large amount of memory space, increasing linearly with the number of documents or the number of topics. Therefore, the high memory usage is often a major problem for topic modeling of massive corpora containing a large number of topics. To reduce the space complexity, we propose a novel algorithm without storing previous messages for training LDA: tiny belief propagation (TBP). The basic idea of TBP relates the message passing algorithms with the non-negative matrix factorization (NMF) algorithms, which absorb the message updating into the message passing process, and thus avoid storing previous messages. Experimental results on four large data sets confirm that TBP performs comparably well or even better than current state-of-the-art training algorithms for LDA but with a much less memory consumption. TBP can do topic modeling when massive corpora cannot fit in the computer memory, for example, extracting thematic topics from 7 GB PUBMED corpora on a common desktop computer with 2GB memory.

研究の動機と目的

• トピック数や文書数に比例して増加する従来のメッセージ渡しアルゴリズムの高メモリ消費を解消すること。
• 特に標準的なデスクトップシステムでは主記憶領域に収まらない大規模コーパスに対するLDAの実行制限を克服すること。
• VB、GS、BPなどの既存手法と比較して、顕著に低いメモリ使用量を実現しながらも、高いトピックモデリング精度を維持する学習アルゴリズムの開発。
• 標準的なデスクトップコンピュータで2 GB RAMのみを用いて、7 GBのPubMedコーパスのような大規模データにおけるトピックモデリングを可能にすること。
• 本手法がブロック最適化を用いて、主記憶に収まらないデータに対しても拡張可能であることを示すこと。

提案手法

• LDAにおけるメッセージ渡しを、非負値行列分解（NMF）のプロセスに再定式化し、メッセージ更新を渡しのメカニズムに直接統合することで、過去のメッセージを格納する必要を排除する。
• LeeとSeung（2001）が提唱したNMFの乗法的更新ルールを用い、履歴メッセージ状態を維持せずに、トピック分布と文書-トピック割合を反復的に最適化する。
• 近似事後分布と真の事後分布とのKullback-Leibler（KL）ダイバージェンスを最小化することで、LDA評価で用いられるパープレキシティ指標と整合させる。
• 2つの変種を導入：aTBP（除算を伴う適応的更新）とsTBP（除算を含まない簡略化された更新）。両者とも計算オーバーヘッドを低減することを目的として設計されている。
• ブロック最適化を適用することで、TBPを主記憶に収まらないデータセットに拡張し、2 GB RAMのマシンでも7 GBのPubMedコーパス全体を処理可能にする。
• 学習の目的関数として、パープレキシティの最小化（KLダイバージェンス最小化による）を定式化し、トピックモデリングで広く用いられる評価指標を直接最適化する。

実験結果

リサーチクエスチョン

• RQ1 LDAにおけるメッセージ渡しを再構築することで、過去のメッセージを格納する必要をなくし、メモリ複雑性を低減できるか？
• RQ2 信念伝搬にNMFの原則を統合することで、トピックモデリングの精度と収束特性にどのような影響を与えるか？
• RQ3 VB、GS、BPと比較して、TBPはどれほど顕著にメモリ使用量を削減しながら、トピックモデリングの性能を維持または向上できるか？
• RQ4 TBPは、2 GB RAMの標準的なデスクトップハードウェアで、7 GBのPubMedデータのような大規模コーパスを効果的に処理できるか？
• RQ5 大規模データに適用した場合、TBPはOVBのような最先端のオンラインアルゴリズムと比較して、学習速度とパープレキシティの両面で優れているか？

主な発見

• TBPは、VB、GS、BPと同等またはそれ以上のトピックモデリング精度を達成しながら、顕著に低いメモリ使用量を実現し、主記憶容量を超える大規模コーパスにおけるLDA学習を可能にする。
• 10トピックの7 GB PubMedコーパスにおいて、TBPは標準的なデスクトップコンピュータで2 GB RAMのみを用いてトピックを効果的に抽出できた。これは、従来のLDA学習アルゴリズムでは不可能であった。
• OVB（オンライントピックモデリングアルゴリズム）と比較して、TBPは収束が早く、KLダイバージェンス指標の直接最適化により、より低い予測パープレキシティを達成している。
• sTBPは除算演算が各イテレーションに存在しないため、aTBPよりもわずかに高速である一方、aTBPはより積極的な行列更新によりわずかに低いパープレキシティを達成している。
• 広範な実験により、TBPは高いトピック品質を維持しており、トピックごとの上位10語リストがVB、GS、BPと高く一致しており、意味的なテーマ構造が明確に得られていることが示された。
• 本手法により、NMFに基づく最適化がLDA学習に効果的に適用可能であることが示された。これは、NMFにインspiredされたアルゴリズムが、より複雑なトピックモデルに対しても広く応用可能である可能性を示唆している。