[论文解读] A Neural Framework for Generalized Topic Models.

Dallas Card, Chenhao Tan+1 more|arXiv (Cornell University)|May 25, 2017

Topic Modeling被引用 15

一句话总结

本文提出了一种通用的神经网络框架用于主题建模，通过变分推断灵活地将多样化的元数据（例如作者、来源、日期）整合到概率主题模型中。该框架在美国内移民新闻语料库上的实验表明，其在困惑度、主题连贯性和稀疏性方面均表现出色，且支持快速原型设计。

ABSTRACT

Most real-world document collections involve various types of metadata, such as author, source, and date, and yet the most commonly-used approaches to modeling text corpora ignore this information. While specialized models have been developed for particular applications, few are widely used in practice, as customization typically requires derivation of a custom inference algorithm. In this paper, we build on recent advances in variational inference methods and propose a general neural framework, based on topic models, to enable flexible incorporation of metadata and allow for rapid exploration of alternative models. Our approach achieves strong performance, with a manageable tradeoff between perplexity, coherence, and sparsity. Finally, we demonstrate the potential of our framework through an exploration of a corpus of articles about US immigration.

研究动机与目标

• 解决传统主题模型忽略真实文档集合中丰富元数据的局限性。
• 开发一种通用框架，支持对多种元数据类型的替代主题模型进行快速探索。
• 在无需推导自定义推断算法的情况下，实现灵活且可定制的主题建模。
• 在实践中实现困惑度、主题连贯性和稀疏性之间的平衡权衡。
• 通过分析大规模美国内移民新闻文章语料，展示该框架的实用性。

提出的方法

• 该框架利用神经网络扩展概率主题模型，以建模依赖于元数据的主题分布。
• 采用变分推断与摊销推断相结合的方法，实现对大规模语料的可扩展性并降低计算成本。
• 将元数据特征（如作者、来源、日期）进行嵌入，并用作条件化主题分配的输入。
• 采用可微分的主题分布参数化方式，使其能根据元数据上下文自适应调整。
• 通过随机优化执行推断，支持整个框架的端到端训练。
• 通过利用元数据作为辅助信号，该架构支持监督和弱监督设置。

实验结果

研究问题

• RQ1 如何有效将元数据整合到主题模型中，以提升可解释性和性能？
• RQ2 统一的神经框架是否能在无需自定义推断算法的情况下支持多种元数据类型？
• RQ3 在整合元数据时，困惑度、主题连贯性和稀疏性之间的权衡关系如何？
• RQ4 该模型在具有复杂元数据结构的真实世界语料库上表现如何？
• RQ5 该框架是否能实现对替代主题建模配置的快速原型设计？

主要发现

• 该框架在困惑度、连贯性和稀疏性方面均表现出色，展示了这些相互竞争目标之间的可控权衡。
• 在美国内移民新闻语料库中，整合元数据显著提升了主题的连贯性和可解释性。
• 该模型可在无需推导新推断过程的情况下，实现对替代主题模型的快速探索。
• 神经变分推断方法能有效扩展至具有丰富元数据的大规模真实文档集合。
• 在定性和定量评估中，该框架均优于忽略元数据的基线主题模型。
• 将嵌入后的元数据作为条件因子，可生成更具语义意义且更清晰的主题分布。