[论文解读] A non-parametric mixture model for topic modeling over time

Avinava Dubey, Ahmed Hefny+2 more|arXiv (Cornell University)|Aug 22, 2012

Bayesian Methods and Mixture Models参考文献 11被引用 6

一句话总结

该论文提出 npTOT，一种非参数贝叶斯模型，通过在时间上使用狄利克雷过程混合，将 Topics over Time (TOT) 模型扩展为支持无界数量的主题以及灵活的多模态时间动态。该模型采用退化吉布斯采样器实现高效推断，在合成数据集和真实世界数据集上对随时间变化的主题进行建模时，其在似然度和困惑度指标上均优于参数化模型和条件模型。

ABSTRACT

A single, stationary topic model such as latent Dirichlet allocation is inappropriate for modeling corpora that span long time periods, as the popularity of topics is likely to change over time. A number of models that incorporate time have been proposed, but in general they either exhibit limited forms of temporal variation, or require computationally expensive inference methods. In this paper we propose non-parametric Topics over Time (npTOT), a model for time-varying topics that allows an unbounded number of topics and exible distribution over the temporal variations in those topics' popularity. We develop a collapsed Gibbs sampler for the proposed model and compare against existing models on synthetic and real document sets.

研究动机与目标

• 为解决 LDA 和 TOT 等参数化主题模型的局限性，这些模型假设主题数量固定且主题流行度呈单峰分布。
• 开发一种非参数模型，允许无界数量的主题，并支持主题流行度的灵活、多模态时间变化。
• 通过将文本和时间戳均建模为可交换的随机变量，保持共轭性并实现可处理的推断。
• 支持对无时间戳信息的文档进行建模，并可扩展至高维协变量（如地理位置）。
• 通过联合建模文本与时间，利用时间信息提升对保留文本的预测性能。

提出的方法

• 通过用主题和时间分量上的非参数狄利克雷过程混合替代固定主题数和 β 分布的时间参数，扩展 TOT 模型。
• 在主题-词分布上使用分层狄利克雷过程（HDP）先验，以支持无限数量的潜在主题。
• 使用基分布的混合（如 β 分布或非对称分布）对每个主题的时间分布进行建模，混合权重从狄利克雷过程抽取。
• 采用退化吉布斯采样器，对主题比例和时间参数进行积分，实现高效的后验推断。
• 通过在主题之间共享时间分量，诱导主题之间的相关性，使相关主题能够表现出相似的时间趋势。
• 支持文档与时间戳的联合建模，通过共轭先验实现可交换性和可处理的推断。

实验结果

研究问题

• RQ1 非参数主题模型能否在不假设固定主题数量的前提下，捕捉主题流行度的灵活、多模态时间动态？
• RQ2 npTOT 在联合似然度和文档补全困惑度方面与 TOT 和 LDA 等参数化模型相比表现如何？
• RQ3 npTOT 是否能有效建模随时间多次达到峰值的主题，如季节性或事件驱动趋势？
• RQ4 在主题之间共享时间分量在多大程度上提升了对具有相似时间模式的相关主题的建模能力？
• RQ5 npTOT 能否推广到高维协变量（如地理位置或其他上下文变量）？

主要发现

• npTOT 在三个测试数据集（Twitter、State of the Union、NIPS）上均取得最高的联合对数似然度，显著优于 LDA、TOT 和基线模型。
• 通过有效利用时间信息，模型在保留文本上的困惑度显著降低，所有数据集上的困惑度得分均低于竞争对手。
• 在 Twitter 数据集上，npTOT 成功捕捉到埃及革命主题的持续高峰和缓慢衰减，比 TOT 的急剧下降更符合现实。
• 模型成功在多个时间峰值中重复使用同一主题，如 1812 年战争与 1807 年禁运法案，展示了时间上的主题复用能力。
• 英语与阿拉伯语主题之间共享的时间分量显示出相关的时间动态，证实了模型学习一致跨语言主题趋势的能力。
• 随着主题数量增加，TOT-Multimodal 模型逐渐逼近 npTOT 的性能，验证了该模型的灵活性以及非参数主题发现的优势。