[论文解读] How Many Topics? Stability Analysis for Topic Models

Derek Greene, Derek O’Callaghan+1 more|arXiv (Cornell University)|Apr 16, 2014

Topic Modeling参考文献 20被引用 22

一句话总结

本文提出一种以术语为中心的稳定性分析方法，通过测量在多次模型运行中顶级术语的一致性，来确定主题建模中的最优主题数。该方法采用非负矩阵分解（NMF），通过顶部加权排名相似性评估稳定性，在多种语料库中表现出稳健性能，识别出能避免过度聚类或聚类不足的稳定k值。

ABSTRACT

Topic modeling refers to the task of discovering the underlying thematic structure in a text corpus, where the output is commonly presented as a report of the top terms appearing in each topic. Despite the diversity of topic modeling algorithms that have been proposed, a common challenge in successfully applying these techniques is the selection of an appropriate number of topics for a given corpus. Choosing too few topics will produce results that are overly broad, while choosing too many will result in the "over-clustering" of a corpus into many small, highly-similar topics. In this paper, we propose a term-centric stability analysis strategy to address this issue, the idea being that a model with an appropriate number of topics will be more robust to perturbations in the data. Using a topic modeling approach based on matrix factorization, evaluations performed on a range of corpora show that this strategy can successfully guide the model selection process.

研究动机与目标

• 为解决主题建模中选择最优主题数（k）这一长期存在的挑战，该挑战显著影响主题的一致性和可解释性。
• 开发一种通用且稳健的模型选择方法，独立于特定的主题建模算法。
• 通过识别在数据扰动下产生稳定、可复现主题结构的k值，提高主题建模结果的可靠性。
• 提供一种实用且计算高效的替代方案，以替代现有的启发式方法和验证技术。

提出的方法

• 该方法采用以术语为中心的稳定性分析，评估从同一主题模型多次运行中生成的顶级术语列表之间的一致性。
• 它使用顶部加权排名度量，强调排名靠前的术语，赋予顶部术语更大的影响力。
• 通过文档采样和随机矩阵初始化引入数据扰动，以生成用于稳定性评估的多样化主题集合。
• 通过将等级相关性度量（如Kendall’s tau或Spearman’s rho）应用于各次运行中对应主题的top-k术语排名，量化稳定性。
• 该方法应用于基于NMF的主题建模，但设计为通用方法，适用于其他生成排序术语列表的方法。
• 最终的k值被选为在多次运行和扰动下平均稳定性最高的那个值。

实验结果

研究问题

• RQ1 在多次运行和数据扰动下，哪个k值能产生最稳定的主题模型？
• RQ2 术语排名一致性能否作为选择主题数量的主题模型质量的可靠代理？
• RQ3 所提出的稳定性方法与传统启发式方法（如RSS或cophenetic相关性）相比，在识别最优k值方面表现如何？
• RQ4 该方法是否能在不同语料库和主题建模算法（尤其是NMF等非概率方法）中保持泛化能力？

主要发现

• 所提出的稳定性分析在多种语料库中成功识别出合适的k值，包括传统启发式方法未能检测到最优粒度的案例。
• 在若干语料库中，该方法在k=2时检测到稳定性峰值，即使预期应存在更细粒度的主题，原因在于顶级术语排名的一致性极高。
• 该方法在计算效率方面优于cophenetic相关性，运行时间显著缩短，并原生支持并行化。
• 在使用真实标签的案例中，该方法仍表现良好，尽管由于元数据质量限制，部分不匹配现象被观察到。
• 稳定性峰值在不同扰动策略（包括文档采样和随机初始化）下均表现稳健，表明模型具有强鲁棒性。
• 该方法在NMF之外也表现出良好的泛化能力，表明其适用于其他产生排序术语列表的主题建模和聚类技术。