[论文解读] Guaranteed inference in topic models

Khoat Than, Tung Doan|arXiv (Cornell University)|Dec 10, 2015

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出在线最大后验估计（OPE），一种用于主题模型（如LDA）后验推断的可证明快速且理论保证的算法。OPE实现$O(1/T)$的收敛速率，优于现有方法在速度与质量上的表现，并支持三种新型可扩展学习算法——在线-OPE、流式-OPE和ML-OPE，显著加速大规模或流式文本数据的训练过程，同时保持高预测性能。

ABSTRACT

One of the core problems in statistical models is the estimation of a posterior distribution. For topic models, the problem of posterior inference for individual texts is particularly important, especially when dealing with data streams, but is often intractable in the worst case. As a consequence, existing methods for posterior inference are approximate and do not have any guarantee on neither quality nor convergence rate. In this paper, we introduce a provably fast algorithm, namely Online Maximum a Posteriori Estimation (OPE), for posterior inference in topic models. OPE has more attractive properties than existing inference approaches, including theoretical guarantees on quality and fast rate of convergence to a local maximal/stationary point of the inference problem. The discussions about OPE are very general and hence can be easily employed in a wide range of contexts. Finally, we employ OPE to design three methods for learning Latent Dirichlet Allocation from text streams or large corpora. Extensive experiments demonstrate some superior behaviors of OPE and of our new learning methods.

研究动机与目标

• 为解决现有主题模型后验推断方法缺乏理论保证的问题，这些方法通常为近似方法且缺乏收敛速率界。
• 开发一种随机优化方法，可证明收敛至非凸、NP难推断设置下MAP估计问题的局部最大值。
• 设计基于OPE作为核心推断子程序的可扩展LDA学习算法，以高效处理大规模或流式文本语料。
• 通过实验验证，OPE及其衍生学习方法在收敛速度、预测性能和稳定性方面优于最先进方法。

提出的方法

• OPE是一种随机在线算法，用于在LDA中执行文档主题混合的在线最大后验（MAP）估计。
• 它采用递减步长策略，并通过随机梯度上升迭代更新文档-主题分布，以逼近后验的局部最大值。
• 该算法专为非凸优化问题设计，并在理论上证明其收敛速率为$O(1/T)$，快于现有非凸问题的随机方法。
• OPE采用随机初始化，并通过随机采样文档词元计算梯度，从而实现高效且可扩展的推断。
• 该方法具有通用性，可应用于LDA以外的广泛概率模型，尤其适用于涉及非凸后验估计的模型。
• 基于OPE作为推断引擎，构建了三种新型学习算法——在线-OPE、流式-OPE和ML-OPE，实现全局LDA参数的高效在线与流式学习。

实验结果

研究问题

• RQ1 主题模型的随机推断算法是否能在质量和速率两方面实现理论收敛保证？
• RQ2 OPE在速度、准确性和稳定性方面是否优于现有近似推断方法（如VB、CVB0和CGS）？
• RQ3 OPE能否有效集成到大规模或流式文本数据的可扩展学习框架中？
• RQ4 基于OPE的学习方法的收敛速率与预测性能与最先进方法相比如何？
• RQ5 OPE对初始化和采样噪声是否具有鲁棒性，表现为多次运行中目标函数值波动稳定？

主要发现

• OPE实现理论收敛速率$O(1/T)$，优于现有非凸优化随机算法的最佳已知速率。
• 实际应用中，OPE比变分贝叶斯（VB）快达数百倍，且显著快于聚类吉布斯采样（CGS）。
• ML-OPE的学习速度比现有方法快数十至数千倍，同时达到相当或更优的预测性能。
• 在线-OPE在预测性能上超越最先进方法，尤其在短文本上表现优异。
• OPE表现出高度稳定性，10次随机运行的目标函数值标准差始终低于20，即使目标函数值在-2300至-2000范围内。
• OPE的目标函数值随迭代次数近乎线性增长，证实了其快速收敛，并与理论预期一致。