[论文解读] Dirichlet belief networks for topic structure learning

He Zhao, Lan Du+2 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 42被引用 8

一句话总结

本文提出Dirichlet信念网络（DirBN），一种深度生成模型，通过在主题模型的词分布（WDs）上应用分层狄利克雷先验，实现可解释的主题层次结构。通过将词分布建模为多层狄利克雷单元，其中每个主题是上层主题的混合，DirBN在保持完全局部共轭性的同时，提升了建模精度，尤其在稀疏文本上表现更优，从而实现高效推理。

ABSTRACT

Recently, considerable research effort has been devoted to developing deep architectures for topic models to learn topic structures. Although several deep models have been proposed to learn better topic proportions of documents, how to leverage the benefits of deep structures for learning word distributions of topics has not yet been rigorously studied. Here we propose a new multi-layer generative process on word distributions of topics, where each layer consists of a set of topics and each topic is drawn from a mixture of the topics of the layer above. As the topics in all layers can be directly interpreted by words, the proposed model is able to discover interpretable topic hierarchies. As a self-contained module, our model can be flexibly adapted to different kinds of topic models to improve their modelling accuracy and interpretability. Extensive experiments on text corpora demonstrate the advantages of the proposed model.

研究动机与目标

• 为解决主题模型中词分布（WDs）缺乏深度层次建模的问题，尽管已有大量研究针对主题比例（TPs）的深度先验。
• 构建一个自包含的、可解释的深度结构用于词分布（WDs），以实现语义主题层次结构的发现。
• 通过利用全局语料信息构建深度WD先验，提升建模精度，尤其在如推文和新闻摘要等稀疏文本上。
• 提供一个即插即用的模块，可兼容现有主题模型，以同时提升建模精度与可解释性。

提出的方法

• DirBN构建一个多层信念网络，其中每一层的主题呈狄利克雷分布，并表示词汇表上词的条件概率分布。
• 下层中的每个主题由其上层主题的混合生成，从而实现层次抽象与语义相关性的发现。
• 所有层级中的隐单元（主题）由于其狄利克雷分布的词分布，均可被直接解释为真实主题。
• 模型使用伽马分布的权重连接各层，实现灵活且结构化的主题生成。
• 通过适当的变量增广与边缘化，实现完全的局部共轭性，从而支持简单高效的推理算法。
• DirBN可无缝集成至现有模型（如泊松因子分析（PFA）、MetaLDA和伽马信念网络（GBN））中，替代其对WDs的简单狄利克雷先验。

实验结果

研究问题

• RQ1 与标准单层先验相比，对词分布（WDs）的深度层次结构是否能提升主题模型的可解释性与建模精度？
• RQ2 如何通过WDs上的深度结构实现跨多层的有意义且可解释的主题层次结构发现？
• RQ3 在上下文有限的稀疏文本数据上，DirBN在多大程度上提升了建模性能？
• RQ4 DirBN能否在不损害推理可扩展性的前提下，被有效且高效地集成到现有主题模型中？

主要发现

• 通过利用深度WD先验中的全局语料级信息，DirBN在推文和新闻摘要等稀疏文本语料上实现了更优的建模精度。
• 该模型成功发现可解释的层次化主题结构，其中高层主题更具抽象性，并能概括低层主题。
• 在WSJ及其他文本语料上的实验表明，当集成至GBN、MetaLDA和PFA等模型时，DirBN显著提升了性能。
• 通过使用狄利克雷分布的隐单元，确保了各层级中所有主题均可通过词分布直接解释。
• 通过变量增广与边缘化，保持了完全的局部共轭性，从而实现高效且可扩展的推理。
• 主题层次结构的可视化（如图5所示）证实，DirBN能够捕捉跨层级的主题语义关系，呈现出清晰的层次组织结构。