[论文解读] Kernel Topic Models

Philipp Hennig, David Stern+2 more|arXiv (Cornell University)|Oct 21, 2011

Bayesian Methods and Mixture Models参考文献 18被引用 33

一句话总结

本文提出核主题模型（KTM），一种通过在文档特征的希尔伯特空间中对文档主题比例建模为高斯过程，从而扩展潜在狄利克雷分配（LDA）的概率框架，实现了对时间、空间和社会元数据的非线性、结构化建模。该方法在变换基下使用拉普拉斯近似实现高效近似推理，在保持中等规模语料库竞争性能的同时，显著提升了建模灵活性。

ABSTRACT

Latent Dirichlet Allocation models discrete data as a mixture of discrete distributions, using Dirichlet beliefs over the mixture weights. We study a variation of this concept, in which the documents' mixture weight beliefs are replaced with squashed Gaussian distributions. This allows documents to be associated with elements of a Hilbert space, admitting kernel topic models (KTM), modelling temporal, spatial, hierarchical, social and other structure between documents. The main challenge is efficient approximate inference on the latent Gaussian. We present an approximate algorithm cast around a Laplace approximation in a transformed basis. The KTM can also be interpreted as a type of Gaussian process latent variable model, or as a topic model conditional on document features, uncovering links between earlier work in these areas.

研究动机与目标

• 将传统LDA扩展，将结构化元数据（如时间、作者、社交网络）纳入主题建模，超越线性或点估计方法。
• 将主题分布建模为希尔伯特空间上的函数，利用高斯过程实现文档间非线性与复杂依赖关系。
• 为潜在高斯过程在主题模型背景下的推理开发高效算法，克服后验计算不可行的问题。
• 统一主题建模与高斯过程潜在变量模型，实现贝叶斯不确定性估计与一致的超参数学习。

提出的方法

• 将文档主题比例 πd 建模为潜在高斯过程 h(φd) 的软最大变换，其中 φd 是希尔伯特空间 H 中的特征。
• 在函数 h(φ) 上施加高斯过程先验，其均值和协方差函数由核函数 ηk 定义，实现对特征上主题的非线性回归。
• 在变换基下应用拉普拉斯近似，以近似不可行的潜在高斯变量后验，实现高效变分推理。
• 将模型视为LDA与高斯过程潜在变量模型的混合，将主题建模与非参数回归联系起来。
• 采用变分推理框架，通过迭代优化文档级后验与超参数，每10次迭代更新一次核函数超参数。
• 在《国情 State of the Union》数据集中，使用有理二次核与径向基函数对时间与作者相关结构进行建模。

实验结果

研究问题

• RQ1 主题模型能否被扩展以建模文档元数据与主题分布之间的非线性关系？
• RQ2 如何有效将高斯过程先验整合到主题模型中，以对时间、位置或社交网络等结构化元数据进行建模？
• RQ3 何种推理方法可实现在具有潜在高斯过程的非共轭、非线性主题模型中高效近似后验计算？
• RQ4 在困惑度与收敛性方面，核主题模型相较于线性模型（如DMR）和基线LDA的性能如何？
• RQ5 在软最大基下使用的拉普拉斯近似能否提供一种计算高效且具有贝叶斯性质的替代点估计的方案？

主要发现

• 在《国情 State of the Union》数据集上，尽管收敛速度相似，核主题模型的最终困惑度比狄利克雷-多项式回归（DMR）基线低约12%。
• 在Wikipedia图数据集上，由于非词级更新，超参数优化期间困惑度出现暂时上升，但随后恢复到更优的表示。
• NIPS数据集的结果显示，经过超参数优化后，困惑度显著改善，证明了模型适应复杂数据结构的能力。
• 拉普拉斯近似实现了高效推理，并支持完整的贝叶斯不确定性量化，替代了先前工作中使用的点估计。
• 该模型的计算成本随文档数量呈立方级增长，因此在超大规模语料库上可扩展性较低，但在中等规模、结构化数据集上极为有效。
• 在所有测试数据集中，核模型均优于常数模型与线性模型，尤其在元数据结构为非线性或复杂时表现更优。