[论文解读] Expectation-Propogation for the Generative Aspect Model

Thomas P. Minka, John Lafferty|arXiv (Cornell University)|Dec 12, 2012

Topic Modeling参考文献 2被引用 44

一句话总结

该论文提出了一种基于期望传播（EP）的推理方法，用于生成式方面模型，以解决传统变分推理中的不准确性问题。通过将EP整合到EM框架中，该方法在计算成本相当的情况下实现了更高的推理准确性和更低的学习偏差，其有效性在合成数据和真实文本数据集上得到了验证。

ABSTRACT

The generative aspect model is an extension of the multinomial model for text that allows word probabilities to vary stochastically across documents. Previous results with aspect models have been promising, but hindered by the computational difficulty of carrying out inference and learning. This paper demonstrates that the simple variational methods of Blei et al (2001) can lead to inaccurate inferences and biased learning for the generative aspect model. We develop an alternative approach that leads to higher accuracy at comparable cost. An extension of Expectation-Propagation is used for inference and then embedded in an EM algorithm for learning. Experimental results are presented for both synthetic and real data sets.

研究动机与目标

• 解决生成式方面模型中变分推理方法存在的不准确性和偏差问题。
• 开发一种更精确的推理技术，同时保持计算效率。
• 通过更优的后验近似，改进生成式方面模型中的参数学习。
• 在合成数据和真实文本数据上展示基于EP的推理方法的有效性。

提出的方法

• 将期望传播（EP）方法应用于生成式方面模型中的后验近似，替代标准的变分推理。
• 采用一种迭代优化的EP算法，逐步改进对潜在方面和词-主题分配的近似后验分布。
• 将EP推理步骤嵌入EM算法中，通过交替最大化完整数据对数似然的期望值来优化模型参数。
• 采用矩匹配和局部证据近似方法，以提升EP框架中的后验估计精度。
• 将该方法应用于合成数据和真实文本语料库，以评估其性能和鲁棒性。

实验结果

研究问题

• RQ1 期望传播能否在生成式方面模型中提供比标准变分推理更准确的后验近似？
• RQ2 与现有方法相比，基于EP的方法是否能降低参数学习中的偏差？
• RQ3 在保持更高准确性的前提下，EP的计算成本与变分推理相比如何？
• RQ4 EP-EM框架能否有效从真实世界文本数据中学习到有意义的方面？

主要发现

• 与变分推理方法相比，基于EP的推理显著降低了参数学习中的偏差。
• 所提出的方法在保持与变分推理相当的计算效率的同时，实现了更高的后验估计准确性。
• 在合成数据上，EP-EM方法比基线方法更忠实地恢复了真实的方面结构。
• 在真实文本数据集上，模型学习到了连贯且可解释的方面，同时具有更高的似然值和更低的近似误差。