[论文解读] A Practical Algorithm for Topic Modeling with Provable Guarantees

Sanjeev Arora, Rong Ge+6 more|arXiv (Cornell University)|Dec 19, 2012

Topic Modeling参考文献 19被引用 161

一句话总结

本文提出了一种实用且可证明高效的主题建模算法，用稳定、基于梯度的推理方法替代计算昂贵的矩阵求逆，并采用组合锚点选择技术。该方法在远少于MCMC所需的时间内实现了接近MCMC的质量结果，在可分性假设下具备坚实的理论保证，并对主题相关性具有鲁棒性。

ABSTRACT

Topic models provide a useful method for dimensionality reduction and exploratory data analysis in large text corpora. Most approaches to topic model inference have been based on a maximum likelihood objective. Efficient algorithms exist that approximate this objective, but they have no provable guarantees. Recently, algorithms have been introduced that provide provable bounds, but these algorithms are not practical because they are inefficient and not robust to violations of model assumptions. In this paper we present an algorithm for topic model inference that is both provable and practical. The algorithm produces results comparable to the best MCMC implementations while running orders of magnitude faster.

研究动机与目标

• 开发一种将理论保证与实际效率相结合的主题建模算法，克服以往可证明方法因运行速度过慢或不稳定而存在的局限性。
• 用数值稳定、基于概率的梯度方法替代主题恢复中的矩阵求逆，避免负概率并提高鲁棒性。
• 设计一种组合锚点词选择算法，在噪声下具备可证明的稳定性，同时避免线性规划带来的高计算成本。
• 在合成数据和真实语料上对算法进行实证评估，从保留似然、主题一致性与主题唯一性等方面与MCMC及其他最先进方法进行比较。
• 证明该算法在主题相关性存在的情况下仍能保持优异性能，而许多先前的可证明方法在该设定下会失效。

提出的方法

• 该算法在可分性假设下，使用组合过程识别锚点词——即仅属于单一主题的词语，用更可扩展且稳定的替代方法取代线性规划。
• 通过一种新颖的基于梯度的推理方法进行主题恢复，将主题分布视为待优化的参数，避免病态条件的矩阵求逆。
• 该方法基于词共现的二阶矩矩阵运行，实现与语料规模无关的高效计算。
• 该算法设计为对噪声和模型偏差具有鲁棒性，在可分性条件下具备样本复杂度的理论保证。
• 实证评估采用保留对数似然、主题一致性与唯一词数作为指标，与吉布斯采样及其他基于恢复的方法进行比较。
• 该方法在原则上具备可并行化特性，支持潜在的大规模部署，尽管并行化工作留待未来研究。

实验结果

研究问题

• RQ1 是否存在一种主题建模算法，既能实现理论保证，又能具备实际效率，从而避免可证明性与运行时间之间的权衡？
• RQ2 用基于梯度的推理方法替代矩阵求逆，是否能提升主题恢复中的数值稳定性与性能？
• RQ3 在主题相关性存在的情况下，该算法表现如何？这是对i.i.d.主题假设的常见现实违背。
• RQ4 该算法能否在远快于MCMC的运行时间下，实现与MCMC相当的主题质量？
• RQ5 在真实语料（如《纽约时报》和NIPS）上应用时，该算法在主题一致性与主题唯一性方面与其它方法相比表现如何？

主要发现

• 该算法在保留对数似然（每词）方面与吉布斯采样相当，配对t检验的p值 < 0.0001，表明在似然性上无统计显著差异。
• RecoverL2与RecoverKL的主题一致性高于吉布斯采样，尽管吉布斯采样生成的每主题唯一词更多。
• 随着主题相关性增加，该算法性能有所下降，但在更大语料上保持稳定，并随数据量增加而改善，极限下趋近于无相关性情形。
• 原始Recover算法中的矩阵求逆在小语料（如NIPS）上失效，而新方法保持稳定且可扩展。
• 在《纽约时报》语料上，RecoverL2生成的主题包含更多具体、富含命名实体的词汇（如'zzz_anaheim_angel'），而吉布斯采样则倾向于生成如'web'和'mail'等通用术语。
• 在合成实验中，当加入人工锚点词后，ℓ₁误差降至接近零，证实了该算法在理想条件下具备稳定性和正确性。