[论文解读] MetaLDA: a Topic Model that Efficiently Incorporates Meta information

He Zhao, Lan Du+2 more|arXiv (Cornell University)|Sep 19, 2017

Topic Modeling被引用 3

一句话总结

MetaLDA 是一种主题模型，通过数据增强实现完全的局部共轭性，高效整合文档和词语的元信息（如标签、类别和词嵌入），从而支持快速的 Gibbs 采样。它在稀疏文本上表现出更优的主题质量与更低的困惑度，同时相比现有元信息增强型模型运行速度显著更快。

ABSTRACT

Besides the text content, documents and their associated words usually come with rich sets of meta informa- tion, such as categories of documents and semantic/syntactic features of words, like those encoded in word embeddings. Incorporating such meta information directly into the generative process of topic models can improve modelling accuracy and topic quality, especially in the case where the word-occurrence information in the training data is insufficient. In this paper, we present a topic model, called MetaLDA, which is able to leverage either document or word meta information, or both of them jointly. With two data argumentation techniques, we can derive an efficient Gibbs sampling algorithm, which benefits from the fully local conjugacy of the model. Moreover, the algorithm is favoured by the sparsity of the meta information. Extensive experiments on several real world datasets demonstrate that our model achieves comparable or improved performance in terms of both perplexity and topic quality, particularly in handling sparse texts. In addition, compared with other models using meta information, our model runs significantly faster.

研究动机与目标

• 解决传统主题模型忽略文档和词语相关丰富元信息的局限性。
• 提升主题建模的准确性和一致性，尤其是在词共现数据稀少的场景（如短文本）中。
• 开发一种可扩展且高效的推理算法，同时利用文档级和词级元信息。
• 在不牺牲性能的前提下，实现比现有元信息增强型主题模型更快的训练速度。
• 实现对多种元信息类型（二值或实值）的灵活集成，融入主题建模框架。

提出的方法

• MetaLDA 使用数据增强技术实现完全的局部共轭性，支持闭式 Gibbs 采样，实现高效推理。
• 通过主题分布先验整合文档元信息：具有相似标签的文档共享其主题分布的 Dirichlet 先验。
• 将词元信息整合到每主题的词分布先验中，促使语义相似的词具有相似的主题权重。
• 模型支持文档和词元信息的联合使用，且对每种模态分别设计独立的推理流程。
• 采用稀疏缓存策略以降低计算复杂度，尤其在使用文档级元信息时效果显著。
• 通过 DistributedLDA 框架实现并行化，提升大规模数据集上的可扩展性。

实验结果

研究问题

• RQ1 联合整合文档级和词级元信息是否能提升稀疏文本上的主题模型性能？
• RQ2 MetaLDA 的推理效率与现有元信息增强型主题模型相比如何？
• RQ3 使用元信息是否能提升主题一致性并降低困惑度，尤其是在词共现数据有限的情况下？
• RQ4 该模型是否能在显著快于同类模型的推理速度下保持高性能？
• RQ5 随着主题数量增加和数据集规模扩大，模型的可扩展性如何？

主要发现

• 在 WS 和 AN 数据集上，MetaLDA 的 NPMI 得分最高，表明主题一致性更优，尤其是在剔除低质量主题后。
• 在 TMN 数据集上，MetaLDA 的平均 NPMI 得分最佳，尽管由于标准差重叠，未表现出统计显著性差异。
• 在 Reuters 数据集上，仅使用文档元信息时，MetaLDA 的运行速度是 DMR 的 6–8 倍；在 WS 数据集上，速度超过 DMR 的 10 倍。
• 在 WS 数据集上，加入词元信息后，MetaLDA 的速度是 WF-LDA 和 LF-LDA 的 20–30 倍，尤其在主题数量增加时优势更明显。
• 在大型 NYT 数据集上，MetaLDA 在并行设置下仍保持速度优势，其单次迭代运行时间优于 DMR、LF-LDA 和 WF-LDA。
• MetaLDA 在低数据场景（如短文本）下，困惑度更低，主题质量更优，优于基线模型。