[论文解读] Continuous Semantic Topic Embedding Model Using Variational Autoencoder

Namkyu Jung, Hyeong In Choi|arXiv (Cornell University)|Nov 24, 2017

Topic Modeling参考文献 22被引用 3

一句话总结

本文提出连续语义主题嵌入模型（CSTEM），一种基于变分自编码器的主题模型，通过马氏距离函数在欧几里得空间中学习连续的主题与词嵌入，以建模语义关系。通过引入全局词权重参数，CSTEM 提升了主题一致性，并实现了可可视化、语义有意义的主题与词向量表示，其推理速度优于基于采样的方法。

ABSTRACT

This paper proposes the continuous semantic topic embedding model (CSTEM) which finds latent topic variables in documents using continuous semantic distance function between the topics and the words by means of the variational autoencoder(VAE). The semantic distance could be represented by any symmetric bell-shaped geometric distance function on the Euclidean space, for which the Mahalanobis distance is used in this paper. In order for the semantic distance to perform more properly, we newly introduce an additional model parameter for each word to take out the global factor from this distance indicating how likely it occurs regardless of its topic. It certainly improves the problem that the Gaussian distribution which is used in previous topic model with continuous word embedding could not explain the semantic relation correctly and helps to obtain the higher topic coherence. Through the experiments with the dataset of 20 Newsgroup, NIPS papers and CNN/Dailymail corpus, the performance of the recent state-of-the-art models is accomplished by our model as well as generating topic embedding vectors which makes possible to observe where the topic vectors are embedded with the word vectors in the real Euclidean space and how the topics are related each other semantically.

研究动机与目标

• 开发一种连续主题模型，以比传统LDA更准确地捕捉主题与词之间的语义关系。
• 通过在欧几里得空间中引入语义距离函数，解决基于高斯分布的主题模型在捕捉语义意义方面的局限性。
• 通过引入与主题分配无关的全局词权重参数，提升主题一致性。
• 在共享向量空间中生成连续、可可视化、适用于语义分析的主题与词嵌入。
• 在主题一致性与困惑度方面实现最先进性能，且训练速度优于MCMC方法。

提出的方法

• CSTEM 使用变分自编码器（VAE）框架，通过重参数化技巧联合推断主题分布与词嵌入。
• 将词出现概率建模为话题向量与词向量之间逆马氏距离的指数函数，以捕捉语义相似性。
• 引入全局词权重参数 $ c_i $，以独立于主题分配的方式考虑词频，提升词出现建模效果。
• 通过蒙特卡洛估计与随机梯度下降优化变分下界（ELBO）。
• 主题与词向量在共享的300维欧几里得空间中联合嵌入，支持语义关系的几何解释。
• 通过主成分分析（PCA）进行降维，将主题与词向量在二维空间中可视化，保留语义聚类特性。

实验结果

研究问题

• RQ1 在欧几里得空间中使用连续语义距离函数，是否能比离散或基于高斯分布的模型更好地建模主题-词关系？
• RQ2 引入全局词权重参数是否能提升主题一致性与模型拟合度，超越标准主题模型？
• RQ3 所学习的主题与词嵌入是否可被视觉化解释，以反映主题与词之间的语义相似性？
• RQ4 CSTEM在主题一致性与困惑度方面与最先进模型相比表现如何？
• RQ5 连续向量空间是否能通过插值生成新的、有意义的主题？

主要发现

• CSTEM在主题一致性方面达到或略优于AVITM与高斯LDA等最先进模型，且训练速度显著快于基于采样的方法。
• 与LDA和ProdLDA相比，CSTEM在主题一致性方面表现更优，同时保持了具有竞争力的困惑度得分。
• 使用PCA生成的可视化结果表明，语义相似的词聚类在一起，主题语义相关（如“war”与“world”）在嵌入空间中几何上彼此接近。
• 全局词权重参数 $ c_i $ 被证明对独立于主题的词频建模至关重要，显著提升了模型拟合效果。
• 主题向量成功嵌入与词向量相同的向量空间中，通过几何邻近性可直观解释主题语义。
• 通过在连续嵌入空间中插值，模型可无限生成自定义的新主题，展示了其生成能力。