[论文解读] Integrating Document Clustering and Topic Modeling

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|Sep 26, 2013

Topic Modeling参考文献 14被引用 97

一句话总结

该论文提出了一种统一的多粒度聚类主题模型（MGCTM），通过整合每个聚类内的局部主题与跨聚类的全局主题，联合执行文档聚类与主题建模。利用变分推断，MGCTM 在主题一致性方面优于独立的聚类与主题建模方法，并实现了主题与聚类之间更好的对齐。

ABSTRACT

Document clustering and topic modeling are two closely related tasks which can mutually benefit each other. Topic modeling can project documents into a topic space which facilitates effective document clustering. Cluster labels discovered by document clustering can be incorporated into topic models to extract local topics specific to each cluster and global topics shared by all clusters. In this paper, we propose a multi-grain clustering topic model (MGCTM) which integrates document clustering and topic modeling into a unified framework and jointly performs the two tasks to achieve the overall best performance. Our model tightly couples two components: a mixture component used for discovering latent groups in document collection and a topic model component used for mining multi-grain topics including local topics specific to each cluster and global topics shared across clusters.We employ variational inference to approximate the posterior of hidden variables and learn model parameters. Experiments on two datasets demonstrate the effectiveness of our model.

研究动机与目标

• 解决文档聚类与主题建模之间的相互依赖关系，尽管两者在实践中常被分开执行，但其内在关联性较强。
• 克服标准主题模型（如 LDA）无法区分全局主题与聚类特异性局部主题的局限性。
• 通过利用主题建模捕捉超越原始词频的语义结构，提升聚类性能。
• 通过聚类将全语料背景主题与群体特异性主题分离，提升主题的可解释性。
• 构建一个生成模型，联合推断聚类成员身份、文档-主题分布与主题，以实现相互优化。

提出的方法

• 提出一种生成模型，其中每篇文档均为全局主题（在所有聚类中共享）与局部主题（特定于其所属聚类）的混合体。
• 将聚类成员身份建模为具有每聚类局部主题狄利克雷先验的隐变量。
• 使用统一的狄利克雷先验来控制所有文档在全局主题上的主题比例。
• 采用变分推断来近似隐藏变量（聚类成员身份、主题分配与主题比例）的后验分布。
• 在一个统一的框架中联合推断聚类标签、主题分布与词-主题分布。
• 将聚类与主题建模整合到单一概率模型中，以实现相互优化。

实验结果

研究问题

• RQ1 联合建模文档聚类与主题建模是否能优于分别执行这两项任务？
• RQ2 所提出的模型是否能有效区分全局主题（跨聚类共享）与局部主题（每个聚类特有）？
• RQ3 将聚类结构引入主题建模是否能产生更一致且更具可解释性的主题？
• RQ4 主题建模是否能通过提供低维、语义丰富的文档表示，从而提升聚类性能？
• RQ5 MGCTM 在主题一致性与聚类-主题相关性方面，与基线方法（如 K-means + MGCTM 和 CTM）相比表现如何？

主要发现

• 在五名标注者评估下，MGCTM 的平均主题一致性得分达到 33.47%，显著高于 K-means + MGCTM（27.83%）与 CTM（31.60%）。
• MGCTM 中局部主题与其对应聚类的相关性度量达到 66.2%，显著高于 K-means + MGCTM（56.6%）与 CTM（61.2%）。
• 该模型成功地将背景词（如 'reporting'、'acknowledging'）分离至全局主题，而将领域特异性术语（如 'machine learning'、'financial economics'）归入局部主题。
• 在 20 Newsgroups 数据集上的实验表明，MGCTM 生成的主题比基线方法更具可解释性与语义意义。
• MGCTM 中的联合推断提升了聚类性能，因为主题建模增强了用于分组的语义表示。
• 该模型表明，当在统一框架中紧密耦合时，聚类与主题建模可实现相互促进。