[论文解读] Memory-Efficient Topic Modeling

Jia Zeng, Zhiqiang Liu+1 more|arXiv (Cornell University)|Jun 6, 2012

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出了一种名为极小信念传播（Tiny Belief Propagation, TBP）的内存高效算法，通过将消息传递与非负矩阵分解（NMF）相结合，消除了对存储先前消息的需求，从而实现高效的潜在狄利克雷分布（LDA）训练。TBP在显著降低内存使用的同时，实现了当前最优的主题建模精度，使在仅配备2 GB RAM的标准台式机上处理大规模语料（如7 GB的PubMed数据）成为可能。

ABSTRACT

As one of the simplest probabilistic topic modeling techniques, latent Dirichlet allocation (LDA) has found many important applications in text mining, computer vision and computational biology. Recent training algorithms for LDA can be interpreted within a unified message passing framework. However, message passing requires storing previous messages with a large amount of memory space, increasing linearly with the number of documents or the number of topics. Therefore, the high memory usage is often a major problem for topic modeling of massive corpora containing a large number of topics. To reduce the space complexity, we propose a novel algorithm without storing previous messages for training LDA: tiny belief propagation (TBP). The basic idea of TBP relates the message passing algorithms with the non-negative matrix factorization (NMF) algorithms, which absorb the message updating into the message passing process, and thus avoid storing previous messages. Experimental results on four large data sets confirm that TBP performs comparably well or even better than current state-of-the-art training algorithms for LDA but with a much less memory consumption. TBP can do topic modeling when massive corpora cannot fit in the computer memory, for example, extracting thematic topics from 7 GB PUBMED corpora on a common desktop computer with 2GB memory.

研究动机与目标

• 解决传统消息传递算法在LDA中内存消耗过高的问题，其内存占用与文档数或主题数呈线性关系。
• 克服在标准台式机上运行LDA时，因大规模语料超出主存容量而带来的限制。
• 开发一种训练算法，在保持高主题建模精度的同时，与VB、GS和BP等现有方法相比，显著降低内存使用。
• 实现在仅配备2 GB RAM的标准台式机上，对大规模数据（如7 GB PubMed语料）进行主题建模。
• 证明所提出方法可通过分块优化扩展至无法完全装入内存的数据。

提出的方法

• 将LDA中的消息传递重新表述为非负矩阵分解（NMF）过程，将消息更新直接整合到传递机制中，避免存储先前消息。
• 采用NMF的乘法更新规则（Lee & Seung, 2001），在不维护历史消息状态的前提下，迭代优化主题分布和文档-主题比例。
• 最小化近似后验分布与真实后验分布之间的Kullback-Leibler（KL）散度，与LDA评估中使用的困惑度指标保持一致。
• 提出两种变体：aTBP（自适应更新，含除法）和sTBP（简化更新，不含除法），均旨在降低计算开销。
• 应用分块优化将TBP扩展至超出主存容量的数据集，实现在仅2 GB RAM的机器上处理完整的7 GB PubMed语料。
• 将训练目标表述为通过最小化KL散度来最小化困惑度，直接针对主题建模中广泛使用的评估指标进行优化。

实验结果

研究问题

• RQ1 是否能够重构LDA中的消息传递机制，以消除对存储先前消息的需求，从而降低内存复杂度？
• RQ2 将NMF原理融入信念传播对主题建模的准确率和收敛性有何影响？
• RQ3 与VB、GS和BP相比，TBP在多大程度上能显著减少内存使用，同时保持或提升主题建模性能？
• RQ4 TBP是否能有效处理大规模语料（如7 GB的PubMed数据），在仅配备2 GB RAM的标准台式机上运行？
• RQ5 当应用于大规模数据时，TBP在训练速度和困惑度方面与当前最优的在线算法（如OVB）相比如何？

主要发现

• TBP在内存使用显著减少的同时，实现了与VB、GS和BP相当或更优的主题建模准确率，使在超出主存容量的大规模语料上运行LDA成为可能。
• 在包含10个主题的7 GB PubMed语料上，TBP仅使用2 GB RAM就在标准台式机上成功提取了主题，而传统LDA训练算法无法实现此任务。
• TBP的收敛速度优于OVB（一种在线主题建模算法），且由于直接优化KL散度指标，其预测困惑度更低。
• 由于每轮迭代中省去了除法运算，sTBP比aTBP略快；而aTBP因采用更激进的矩阵更新策略，困惑度略低。
• 大量实验表明，TBP保持了高质量的主题，各主题的前10个词列表与VB、GS和BP的结果高度一致，表明其具有有意义的主题结构。
• 所提出方法表明，基于NMF的优化可有效应用于LDA训练，提示NMF启发的算法在复杂主题模型中具有更广泛的应用潜力。