[论文解读] A Tutorial on Probabilistic Latent Semantic Analysis

Liangjie Hong|arXiv (Cornell University)|Dec 17, 2012

Topic Modeling参考文献 13被引用 10

一句话总结

本教程将概率潜在语义分析（PLSA）作为文档聚类和主题建模的生成模型进行介绍，采用两阶段生成过程：通过多项分布为每篇文档选择主题，然后从与主题相关的词分布中生成词语。其主要贡献在于对基于EM算法的PLSA参数估计进行了详细推导，包括引入背景语言模型的扩展，以及与LDA和NMF等其他模型的理论等价性。

ABSTRACT

In this tutorial, I will discuss the details about how Probabilistic Latent Semantic Analysis (PLSA) is formalized and how different learning algorithms are proposed to learn the model.

研究动机与目标

• 为概率潜在语义分析（PLSA）的数学基础和算法实现提供清晰、分步的教程。
• 解释PLSA如何通过引入作为隐变量的潜在主题来建模文档-词共现现象。
• 推导用于PLSA参数最大似然估计的EM算法，包括E步和M步的更新公式。
• 探讨PLSA的扩展，例如引入背景语言模型以提高对罕见词的鲁棒性。
• 阐明PLSA与其他模型（包括LDA和非负矩阵分解，NMF）之间的理论关系。

提出的方法

• PLSA将文档建模为多个主题的混合，其中文档中的每个词首先从文档特定的多项分布θ_d中选择一个主题，然后从与该主题相关的多项分布φ_k中选择一个词。
• 观测数据的联合似然表示为对文档和词语的乘积，其中某词在文档中出现的概率是所有主题下φ_k(w)θ_d(k)乘积的总和。
• 使用EM算法最大化似然函数，其中E步计算后验概率P(z|w,d)，即文档d中词语w由主题z生成的概率。
• M步通过从主题分配的期望计数中导出的充分统计量，更新主题-词分布和文档-主题分布。
• 通过引入一个独立于主题的混合成分来整合背景语言模型，其中混合权重λ_B控制背景模型的贡献。
• 算法被扩展为第二种形式，其中主题分布通过P(z|d)在文档上建模，从而允许不同的参数化和估计方法。

实验结果

研究问题

• RQ1 如何将PLSA正式推导为文档-词共现的生成模型？
• RQ2 潜在主题在解释跨文档的词分布中起什么作用？
• RQ3 当主题分配不可观测时，EM算法如何实现PLSA中参数的高效估计？
• RQ4 引入背景语言模型如何提升PLSA对罕见词或未登录词的鲁棒性？
• RQ5 PLSA与其他模型（如LDA和NMF）之间存在哪些理论等价性？

主要发现

• PLSA的EM算法通过迭代估计主题分配（E步）和使用期望计数更新主题-词与文档-主题分布（M步）实现收敛。
• θ_d和φ_k的M步更新公式被推导为归一化后的主题分配计数，确保参数保持在单纯形内。
• 引入背景语言模型通过允许部分词的生成独立于主题，从而提升了对罕见词的性能。
• E步中后验概率P(z|w,d)通过主题-词概率与文档-主题概率的归一化乘积计算得出。
• 在特定约束下，PLSA与非负矩阵分解（NMF）在数学上等价，如文献中所示。
• 理论证明了PLSA与LDA之间的等价性，其中PLSA为频率学派方法，而LDA为贝叶斯扩展。