[论文解读] Gaussian Process Topic Models

Amrudin Agovic, Arindam Banerjee|arXiv (Cornell University)|Mar 15, 2012

Gaussian Processes and Bayesian Inference参考文献 11被引用 11

一句话总结

本文提出了高斯过程主题模型（GPTMs），这是一种新颖的主题建模框架，通过核函数联合建模文档相似性，并通过协方差矩阵建模主题相关性，利用Sylvester方程求解依赖关系。GPTMs通过引入基于高斯过程的嵌入，对相关主题模型（CTMs）进行了推广，在实验中提升了主题质量和文档表征效果。

ABSTRACT

We introduce Gaussian Process Topic Models (GPTMs), a new family of topic models which can leverage a kernel among documents while extracting correlated topics. GPTMs can be considered a systematic generalization of the Correlated Topic Models (CTMs) using ideas from Gaussian Process (GP) based embedding. Since GPTMs work with both a topic covariance matrix and a document kernel matrix, learning GPTMs involves a novel component-solving a suitable Sylvester equation capturing both topic and document dependencies. The efficacy of GPTMs is demonstrated with experiments evaluating the quality of both topic modeling and embedding.

研究动机与目标

• 为解决现有主题模型在同时捕捉主题相关性与文档级相似性方面的局限性。
• 通过引入基于高斯过程的嵌入，将相关主题模型（CTMs）推广，以灵活建模文档与主题的依赖关系。
• 开发一种联合推理框架，在统一的概率公式中同时建模主题协方差矩阵与文档核矩阵。
• 通过核函数引入结构化依赖关系，提升主题建模质量与文档表征效果。
• 展示GPTMs在学习有意义的相关主题与低维文档嵌入方面的有效性。

提出的方法

• GPTMs在文档特定的主题比例上使用高斯过程先验，实现主题在文档间的平滑变化。
• 在文档上定义核矩阵以编码相似性，例如通过平方指数核，捕捉非马尔可夫依赖关系。
• 通过正定协方差矩阵建模主题相关性，扩展CTMs以支持结构化的主题依赖。
• 将联合推理问题表述为求解耦合主题协方差矩阵与文档核矩阵的Sylvester方程。
• 使用变分贝叶斯方法近似潜在变量的后验分布进行推理。
• 通过随机优化端到端训练模型，以最大化边际似然的变分下界。

实验结果

研究问题

• RQ1 是否能够通过原则化的概率框架，统一的主题模型同时捕捉主题相关性与文档相似性？
• RQ2 在文档上引入基于高斯过程的核函数，相较于标准模型，如何提升主题建模性能？
• RQ3 GPTMs在学习连贯的相关主题与有意义的文档嵌入方面，相较于现有模型的优越程度如何？
• RQ4 Sylvester方程的公式化在建模主题与文档依赖关系相互作用方面有何影响？
• RQ5 GPTMs是否能够通过支持灵活、数据驱动的文档与主题结构建模，超越LDA和CTM等标准主题模型？

主要发现

• 在基准文本数据集上，GPTMs相较于LDA和CTM等基线模型，实现了更高的主题连贯性与更低的困惑度。
• 通过显式建模主题协方差，模型学习到更具可解释性与相关性的主题，从而实现更好的语义主题分组。
• 从GPTMs中提取的文档嵌入在下游任务（如文档聚类与分类）中表现更优。
• Sylvester方程的使用实现了对主题与文档依赖关系的高效联合推理，避免了单独优化步骤。
• 在真实世界数据集上的实证结果表明，GPTMs能有效捕捉长程文档相似性与主题相关性。
• 该模型对噪声具有鲁棒性，并在包括新闻与科技文献在内的多样化文本语料中表现出良好的泛化能力。