[论文解读] On Estimation and Selection for Topic Models

Matthew A. Taddy|arXiv (Cornell University)|Sep 21, 2011

Bayesian Methods and Mixture Models参考文献 27被引用 82

一句话总结

本文提出了一种联合最大后验概率（MAP）估计框架用于主题模型，通过重新参数化潜在变量并使用块对角拉普拉斯近似估计边缘似然，提升了计算效率并实现了模型选择。该方法实现了快速、可扩展的推理，并提供了一种默认的选题方法，其在真实文本数据上的准确性和收敛速度优于变分EM和吉布斯采样。

ABSTRACT

This article describes posterior maximization for topic models, identifying computational and conceptual gains from inference under a non-standard parametrization. We then show that fitted parameters can be used as the basis for a novel approach to marginal likelihood estimation, via block-diagonal approximation to the information matrix,that facilitates choosing the number of latent topics. This likelihood-based model selection is complemented with a goodness-of-fit analysis built around estimated residual dispersion. Examples are provided to illustrate model selection as well as to compare our estimation against standard alternative techniques.

研究动机与目标

• 开发一种计算高效且概念合理的标准主题模型估计替代方法，避免高维潜在变量扩充。
• 解决主题模型中潜在主题数（K）缺乏默认选择方法的问题。
• 与现有技术（如变分EM和吉布斯采样）相比，提升估计准确性和收敛速度。
• 通过信息矩阵的块对角近似，提供基于似然的模型选择准则。
• 通过残差离散度估计评估模型拟合度，识别主题聚类之外的过度离散现象。

提出的方法

• 对主题分布（θ）和文档-主题权重（ω）进行联合后验最大化，通过重新参数化提升计算稳定性。
• 采用块松弛算法，交替使用二次规划更新每个文档的ωi，并通过梯度上升更新θk。
• 对观测信息矩阵应用块对角拉普拉斯近似，以估计边缘似然，从而实现K的选择。
• 将残差离散度估计为拟合优度度量，考虑主题结构无法解释的过度离散现象。
• 在预测评估中，对ωi采用条件MAP估计，假设先验为Dir(1/K)。
• 通过并行化每个文档ωi的独立更新实现高效扩展。

实验结果

研究问题

• RQ1 对主题和文档权重进行联合MAP估计，是否能提升主题模型的计算效率和估计准确性？
• RQ2 信息矩阵的块对角拉普拉斯近似是否能提供一种可靠且可扩展的边缘似然估计与主题数选择方法？
• RQ3 与变分EM和吉布斯采样相比，该方法在收敛速度、预测性能和估计质量方面表现如何？
• RQ4 残差离散度在多大程度上反映了主题聚类效应之外的模型拟合不足？
• RQ5 该方法能否高效扩展至包含数十万篇文档和数万词汇的大规模数据集？

主要发现

• 联合MAP估计方法在保留数据上的预测概率高于变分EM和吉布斯采样，且收敛更快。
• 在we8there数据集上，边缘似然在K=20时达到最大；在Congres109数据集上，K=12时达到最大，表明实现了有效的自动选题。
• 即使在K=200时，残差离散度估计值仍显著高于1，表明存在主题聚类之外的过度离散现象，如短语级相关性。
• 尽管计算量低于变分EM，MAP估计的均方误差仍低于变分EM，且远低于吉布斯采样。
• 该算法扩展高效，在标准台式机上可在十分钟内完成对20万篇以上文档和1万多个词项的20多个主题拟合。
• 从congress109模型中提取的关键词短语显示出强烈的党派倾向，共和党和民主党的主题特征鲜明，验证了模型的可解释性。