[论文解读] Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)

Shaohua Li, Tat‐Seng Chua+2 more|arXiv (Cornell University)|Jun 9, 2016

Topic Modeling参考文献 16被引用 5

一句话总结

该论文提出 TopicVec，一种生成模型，通过将主题表示为与词语相同的嵌入空间中的连续向量，将词嵌入与主题建模相结合。通过利用局部词语上下文和全局文档级主题结构，TopicVec 学习到低维且连贯的文档表示，在分类任务中表现优于八种现有方法，且使用的特征显著更少，甚至能从单个文档中推导出有意义的主题。

ABSTRACT

Word embedding maps words into a low-dimensional continuous embedding space by exploiting the local word collocation patterns in a small context window. On the other hand, topic modeling maps documents onto a low-dimensional topic space, by utilizing the global word collocation patterns in the same document. These two types of patterns are complementary. In this paper, we propose a generative topic embedding model to combine the two types of patterns. In our model, topics are represented by embedding vectors, and are shared across documents. The probability of each word is influenced by both its local context and its topic. A variational inference method yields the topic embeddings as well as the topic mixing proportions for each document. Jointly they represent the document in a low-dimensional continuous space. In two document classification tasks, our method performs better than eight existing methods, with fewer features. In addition, we illustrate with an example that our method can generate coherent topics even based on only one document.

研究动机与目标

• 解决传统词袋模型和词嵌入模型在捕捉局部语义模式与全局文档结构方面的局限性。
• 克服传统主题模型对大规模文档集合的依赖，实现从单个文档中发现主题。
• 构建一个统一的连续向量空间，使词语和主题均被嵌入其中，以支持更丰富的语义建模。
• 开发一种生成模型，通过变分推断联合学习主题嵌入与文档主题比例。
• 评估所提模型在文档分类与主题连贯性方面的有效性，特别是在低数据场景下。

提出的方法

• TopicVec 在 PSDVec 词嵌入模型的基础上引入潜在主题变量，该变量通过基于嵌入的链接函数影响词语概率。
• 每个词语的概率建模为同时依赖其局部上下文词语与主题嵌入向量，主题从狄利克雷分布混合中抽取。
• 该模型使用变分推断算法联合估计主题嵌入与文档特定的主题比例，实现端到端训练。
• 通过高斯先验对主题嵌入进行正则化，通过狄利克雷先验对主题比例进行正则化，以防止过拟合。
• 嵌入链接函数将词语概率计算为词语与主题嵌入之间余弦相似度的函数，从而保持语义关系。
• 模型采用类似 EM 的优化方法进行训练，结合高效推理，实现对大规模语料的可扩展性。

实验结果

研究问题

• RQ1 统一的连续向量空间模型能否有效结合局部词语共现模式与全局文档级主题结构？
• RQ2 从单个文档中推导出的主题嵌入是否仍具有连贯性与语义意义？
• RQ3 联合建模词嵌入与主题是否能在分类任务中优于现有方法，生成更优的文档表示？
• RQ4 TopicVec 在准确率与特征效率方面与最先进方法相比表现如何？
• RQ5 TopicVec 是否能在有限数据下学习到非均匀、具有判别性的主题比例？

主要发现

• TopicVec 在 20Newsgroups 数据集上达到 71.2 的最高 F1 分数，在 Reuters 数据集上达到 92.2，优于八种现有方法的文档分类表现。
• 在 20Newsgroups 上仅使用 281 个特征，在 Reuters 上仅使用 111 个特征，TopicVec 显著少于 BOW（50,381）和 MeanWV（500），但性能更优。
• TopicVec 从单个文档成功生成了连贯的主题，如在一篇制药新闻文章中通过主题云展示了语义上有意义的词语聚类。
• 该模型优于 GaussianLDA，后者因主题嵌入相似性导致主题比例近乎均匀，性能较差（在 20Newsgroups 上 F1 = 22.7）。
• TopicVec 在 2 小时内完成 100 次 EM 迭代，远快于基于 Alias 采样的方法，后者完成相同任务耗时超过 10 天。
• 联合使用主题比例与主题嵌入（如 TV+MeanWV）的性能略优于仅使用主题比例，表明通过联合表示仍有进一步提升空间。