[论文解读] A Topic Modeling Toolbox Using Belief Propagation

Jia Zeng|arXiv (Cornell University)|Jan 4, 2012

Topic Modeling参考文献 12被引用 34

一句话总结

本文介绍了TMBP，一个基于信念传播（BP）实现潜在狄利克雷分配（LDA）及其变体（包括作者主题模型ATM、关系主题模型RTM和标注LDA LaLDA）学习的主题建模工具箱。BP通过直接传播消息而不进行采样或使用复杂的ψ函数，在速度和精度上均优于变分贝叶斯（VB）和吉布斯采样（GS），成为主题建模中更快、更精确的替代方法。

ABSTRACT

Latent Dirichlet allocation (LDA) is an important hierarchical Bayesian model for probabilistic topic modeling, which attracts worldwide interests and touches on many important applications in text mining, computer vision and computational biology. This paper introduces a topic modeling toolbox (TMBP) based on the belief propagation (BP) algorithms. TMBP toolbox is implemented by MEX C++/Matlab/Octave for either Windows 7 or Linux. Compared with existing topic modeling packages, the novelty of this toolbox lies in the BP algorithms for learning LDA-based topic models. The current version includes BP algorithms for latent Dirichlet allocation (LDA), author-topic models (ATM), relational topic models (RTM), and labeled LDA (LaLDA). This toolbox is an ongoing project and more BP-based algorithms for various topic models will be added in the near future. Interested users may also extend BP algorithms for learning more complicated topic models. The source codes are freely available under the GNU General Public Licence, Version 1.0 at https://mloss.org/software/view/399/.

研究动机与目标

• 开发一个可扩展、高效的主题建模工具箱，使用信念传播（BP）作为变分贝叶斯（VB）和吉布斯采样（GS）的替代方法。
• 将基于BP的推理扩展到多种LDA变体，包括作者主题模型（ATM）、关系主题模型（RTM）和标注LDA（LaLDA）。
• 提供一个免费的开源实现，支持MEX C++/Matlab/Octave集成，实现跨平台使用。
• 证明BP在主题建模中相比现有推理方法具有更优的速度和精度。

提出的方法

• 该工具箱在LDA及其变体的因子图上实现信念传播（BP），将三层LDA模型转换为两层马尔可夫随机场（MRF）。
• BP在词、文档和主题变量之间进行消息传递，基于邻近节点的消息更新边际主题概率，无需采样。
• BP的消息更新方程基于联合概率分布推导，避免使用ψ函数（如VB中所用）和离散采样（如GS中所用）。
• BP的消息更新定义为：μ_{w,d}(k) ∝ [x_{-w,d}μ_{-w,d}(k) + α] / Σ_k[x_{-w,d}μ_{-w,d}(k) + α] × [x_{w,-d}μ_{w,-d}(k) + β] / Σ_w[x_{w,-d}μ_{w,-d}(k) + β]。
• 该工具箱支持同步BP（sBP），并通过MEX文件与MATLAB/Octave集成，实现高性能执行。
• 用户可通过调整因子图和消息更新规则，轻松扩展该框架以实现新主题模型的BP算法。

实验结果

研究问题

• RQ1 信念传播（BP）能否有效应用于LDA及其变体的学习，且性能优于VB和GS等现有方法？
• RQ2 在主题建模中，BP与变分贝叶斯和吉布斯采样相比，在收敛速度和推理精度方面表现如何？
• RQ3 BP能否推广到复杂主题模型，如作者主题模型（ATM）、关系主题模型（RTM）和标注LDA（LaLDA）？
• RQ4 在主题建模中，BP相比基于采样和变分推理的方法，在计算和统计方面有何优势？

主要发现

• 信念传播（BP）在主题建模任务中实现了比变分贝叶斯（VB）和吉布斯采样（GS）更快的收敛速度和更高的精度。
• TMBP工具箱中的BP推理将训练困惑度从第10轮的1041.62降低至第490轮的741.95，表明优化效果显著。
• 在演示数据集上，BP算法在500轮迭代内仅耗时13.25秒，显示出极高的计算效率。
• BP生成的每个主题前五个关键词具有良好的连贯性和语义意义，验证了模型提取可解释主题的能力。
• 该工具箱支持多种LDA变体，包括ATM、RTM和LaLDA，仅需极少修改即可在相同BP框架下实现。
• TMBP工具箱以GNU通用公共许可证开源发布，支持可扩展性与社区驱动的新BP基主题模型开发。