[论文解读] Combinatorial Topic Models using Small-Variance Asymptotics

Ke Jiang, Suvrit Sra+1 more|arXiv (Cornell University)|Apr 7, 2016

Topic Modeling参考文献 33被引用 3

一句话总结

本文通过对潜在狄利克雷分配（LDA）模型进行小方差渐近分析（SVA），提出了一种组合优化主题模型，将概率LDA转化为组合优化问题。通过结合局部优化与设施选址启发式词项分配，该方法实现了每轮迭代O(NK)的时间复杂度，在主题建模性能上与当前最先进的LDA方法相当——比基于采样的方法快一个数量级，同时在合成数据与真实世界数据上均保持高精度。

ABSTRACT

Topic models have emerged as fundamental tools in unsupervised machine learning. Most modern topic modeling algorithms take a probabilistic view and derive inference algorithms based on Latent Dirichlet Allocation (LDA) or its variants. In contrast, we study topic modeling as a combinatorial optimization problem, and propose a new objective function derived from LDA by passing to the small-variance limit. We minimize the derived objective by using ideas from combinatorial optimization, which results in a new, fast, and high-quality topic modeling algorithm. In particular, we show that our results are competitive with popular LDA-based topic modeling approaches, and also discuss the (dis)similarities between our approach and its probabilistic counterparts.

研究动机与目标

• 探索组合优化框架是否能够生成与概率LDA性能相当的主题模型。
• 利用小方差渐近分析（SVA）从LDA推导出组合目标函数，类似于k-means如何从高斯混合模型中产生。
• 为推导出的组合模型设计高效的优化算法，克服朴素贪心方法的失败问题。
• 使用适用于硬分配的指标（包括NMI、ARI和预测对数似然）在合成与真实世界数据上评估模型性能。
• 证明该组合方法在速度上可超越概率模型，同时在关键基准测试中保持或超越其准确性。

提出的方法

• 对LDA模型应用小方差渐近分析（SVA），推导出极限组合目标函数，类似于k-means从高斯混合模型中产生的方式。
• 采用局部优化程序改进主题分配，避免贪心分配导致的次优解。
• 借鉴设施选址问题的思想，指导高效且高质量的词-主题分配。
• 设计每轮迭代时间复杂度为O(NK)的算法，将N个词项分配至K个主题之一，实现可扩展性。
• 实施两阶段推理流程：首先通过快速启发式方法分配词项，随后利用局部搜索优化分配结果。
• 使用硬预测对数似然与对称KL散度评估性能，以反映该模型非概率性质。

实验结果

研究问题

• RQ1 组合优化方法在主题建模中能否实现与概率LDA相当的性能？
• RQ2 小方差渐近分析（SVA）如何将LDA转化为组合问题？其最终目标函数是什么？
• RQ3 为何标准贪心组合方法在SVA推导出的模型上失效？需要何种改进？
• RQ4 该方法在真实世界与合成数据上相较于基于采样的LDA，在速度与准确性方面有多大的提升？
• RQ5 鉴于该模型无软分配机制，应如何公平评估此类非概率主题模型？

主要发现

• 在合成数据（SynthA，K=10）上，所提组合主题模型的NMI得分最高达0.922，ARI达0.899，硬分配质量优于标准CGS方法。
• 在Enron数据集（K=100）上，经λ调优以实现相近的主题密度，该方法的硬预测对数似然达-5.434，优于CGS在该指标上的表现。
• 在NYTimes数据集上，该方法的硬预测对数似然为-6.105，显著优于CGS的-6.594，证实其在硬分配场景下的优越性能。
• 该模型比截断吉布斯采样（CGS）快一个数量级，每轮迭代复杂度为O(NK)，可有效扩展至大规模数据。
• 尽管标准概率对数似然得分较低，但其硬分配性能更优，验证了该模型作为LDA非概率替代方案的设计合理性。
• 主题示例显示，该方法能学习到连贯且可解释的主题（如NYTimes中的“painting”、“exhibition”、“artist”），其质量与CGS相当。