[论文解读] A New Approach to Speeding Up Topic Modeling

Jia Zeng, Zhiqiang Liu+1 more|arXiv (Cornell University)|Apr 1, 2012

Topic Modeling参考文献 36被引用 13

一句话总结

本文提出了一种名为主动信念传播（Active Belief Propagation, ABP）的快速且准确的批量LDA算法，用于潜在狄利克雷分布（Latent Dirichlet Allocation, LDA）主题建模。该方法通过在每次迭代中仅选择最具信息量的10%–20%的文档和主题进行扫描，从而加速训练过程，选择依据为消息残差。与最先进的批量LDA方法相比，ABP在保持相近主题建模准确率的同时，实现了10–100倍的加速效果，适用于真实世界语料库。

ABSTRACT

Latent Dirichlet allocation (LDA) is a widely-used probabilistic topic modeling paradigm, and recently finds many applications in computer vision and computational biology. In this paper, we propose a fast and accurate batch algorithm, active belief propagation (ABP), for training LDA. Usually batch LDA algorithms require repeated scanning of the entire corpus and searching the complete topic space. To process massive corpora having a large number of topics, the training iteration of batch LDA algorithms is often inefficient and time-consuming. To accelerate the training speed, ABP actively scans the subset of corpus and searches the subset of topic space for topic modeling, therefore saves enormous training time in each iteration. To ensure accuracy, ABP selects only those documents and topics that contribute to the largest residuals within the residual belief propagation (RBP) framework. On four real-world corpora, ABP performs around $10$ to $100$ times faster than state-of-the-art batch LDA algorithms with a comparable topic modeling accuracy.

研究动机与目标

• 解决批量LDA算法在每次迭代中需对整个语料库和主题空间进行全面扫描所带来的高计算成本问题。
• 降低大规模语料库（D ≥ 10^6）和大量主题（K ≥ 1000）的训练时间。
• 通过智能子集选择，在显著加速收敛的同时保持高主题建模准确率。
• 开发一种可扩展、内存高效的批量LDA算法，适用于大数据应用场景。

提出的方法

• ABP在残差信念传播（Residual Belief Propagation, RBP）框架内运行，利用消息残差（即跨迭代消息之间的绝对差值）识别出动态变化最显著的组件。
• 在每次迭代中，ABP对消息残差进行排序，并仅选择残差最大的前10%–20%的文档和主题进行消息更新与传递。
• 该算法将整个过程解释为一种快速的期望最大化（Expectation-Maximization, EM）算法：E步仅更新高残差消息，M步则基于所选子集估计参数。
• ABP利用了这样一个观察：消息残差近似服从齐普夫定律（Zipf’s law），即少数文档和主题贡献了绝大部分残差能量，从而实现高效剪枝。
• 该方法可扩展至其他基于LDA的模型及潜变量模型，包括高斯混合模型（Gaussian Mixture Models）和隐马尔可夫模型（Hidden Markov Models）。
• ABP采用基于残差幅度的动态调度策略，避免对收敛缓慢的组件进行冗余计算。

实验结果

研究问题

• RQ1 基于消息残差对文档和主题进行选择性扫描，是否能显著减少批量LDA训练时间，同时不损失准确性？
• RQ2 残差最大的前10%–20%的文档和主题，在LDA训练中对收敛进度的贡献占比有多大？
• RQ3 在大规模真实世界语料库上，ABP与最先进的批量及并行LDA算法相比，在速度和准确性方面表现如何？
• RQ4 ABP能否在保持批量算法稳定收敛特性的前提下，实现与在线LDA方法相当或更优的性能？
• RQ5 对于具有大K和大D的超大规模语料库，ABP的亚线性时间复杂度在实际中是否可实现？

主要发现

• 在包括ENRON、NYTIMES、PUBMED和NIPS在内的四个真实世界语料库上，ABP相较于最先进的批量LDA算法，训练速度提升了10至100倍。
• 在NIPS语料库上，ABP1在每次迭代中仅耗时0.09秒，预测困惑度达到0.38，无论在速度还是准确率上均优于在32个处理器上运行的PGS方法。
• 当K=500时，ABP1的预测困惑度低于PGS，且速度显著更快——尽管仅使用单个处理器，其每次迭代耗时仍短于PGS。
• 由于消息残差呈现齐普夫分布特性，即使每次迭代仅选择10%的文档和10%的主题，ABP仍能保持高准确率。
• 当λ_d和λ_k固定时，ABP在文档数（D）和主题数（K）上均表现出亚线性可扩展性，使得在超大规模语料库上可实现近乎恒定的训练时间。
• 与在线LDA方法如OGS和OVB相比，ABP在速度和准确率上均表现更优；且在32个处理器上，其速度和准确率也优于PGS。