[论文解读] Knowledge-Aware Bayesian Deep Topic Model

Dongsheng Wang, Yishi Xu+5 more|arXiv (Cornell University)|Sep 20, 2022

Topic Modeling被引用 8

一句话总结

该论文提出TopicKG，一种知识感知的贝叶斯深度主题模型，通过在统一的潜在空间中共享词嵌入和主题嵌入，联合建模文档和先验主题树。通过利用图结构的主题层次作为先验领域知识，并通过图自适应技术（TopicKGA）实现主题结构的自适应优化，该模型提升了主题一致性与文档表征能力，在层次主题建模和文档分类任务上优于当前最先进方法。

ABSTRACT

We propose a Bayesian generative model for incorporating prior domain knowledge into hierarchical topic modeling. Although embedded topic models (ETMs) and its variants have gained promising performance in text analysis, they mainly focus on mining word co-occurrence patterns, ignoring potentially easy-to-obtain prior topic hierarchies that could help enhance topic coherence. While several knowledge-based topic models have recently been proposed, they are either only applicable to shallow hierarchies or sensitive to the quality of the provided prior knowledge. To this end, we develop a novel deep ETM that jointly models the documents and the given prior knowledge by embedding the words and topics into the same space. Guided by the provided knowledge, the proposed model tends to discover topic hierarchies that are organized into interpretable taxonomies. Besides, with a technique for adapting a given graph, our extended version allows the provided prior topic structure to be finetuned to match the target corpus. Extensive experiments show that our proposed model efficiently integrates the prior knowledge and improves both hierarchical topic discovery and document representation.

研究动机与目标

• 解决现有主题模型在层次主题建模中难以有效利用先验领域知识的局限性。
• 通过实现对所提供知识图的自适应优化，克服基于知识模型对不匹配先验主题结构的敏感性。
• 通过共享嵌入联合建模文档与预定义主题树，提升主题一致性和文档表征能力。
• 开发一种可扩展且高效的贝叶斯框架，将人类知识整合到深度嵌入主题模型中。
• 提供一种灵活且稳健的层次主题建模解决方案，可自适应于目标语料的语义结构。

提出的方法

• 提出TopicKG，一种贝叶斯生成模型，通过在共同潜在空间中共享词嵌入与主题嵌入，联合建模文档的词袋（BoW）向量与给定的主题树。
• 采用深度文档生成模型，学习多层文档表征与主题，受预定义主题树结构的引导。
• 引入图生成模型，通过探索主题树中的层次从属关系来优化节点嵌入，增强主题的可解释性。
• 通过引入图自适应技术，将TopicKG扩展为TopicKGA，基于目标语料发现并添加先验主题树中缺失的连接。
• 使用变分自编码器（VAEs）并最大化证据下界（ELBO）进行端到端训练，实现可扩展性与灵活性。
• 利用预训练词嵌入，并通过图似然对主题嵌入施加结构约束，提升语义一致性。

实验结果

研究问题

• RQ1 能否将作为主题层次的先验领域知识有效整合到深度嵌入主题模型中，以提升主题一致性？
• RQ2 通过共享嵌入联合建模文档与主题树，相较于标准似然模型，如何增强层次主题发现能力？
• RQ3 模型在多大程度上可自适应地调整预定义主题结构，以更好地匹配目标语料中的语义模式？
• RQ4 TopicKGA中提出的图自适应机制是否能生成比固定先验知识更具可解释性与鲁棒性的主题层次？
• RQ5 在主题质量与文档分类任务上，该模型相较于现有知识感知主题模型，在性能与效率方面表现如何？

主要发现

• 在TC与WE任务上，TopicKG与TopicKGA均取得高于基线模型的主题一致性，且TopicKGA在多数情况下优于TopicKG，尤其在层次主题发现方面表现更优。
• 在20NG、R8与RCV2数据集上，TopicKGA在文档分类任务中超越其他基于知识的模型（包括TopicNet与JoSH），取得更高的Micro F1与Macro F1得分。
• 图自适应机制使TopicKGA能够发现并整合原始主题树中不存在的“自由主题”（缺失概念），如图4(b)中新增的虚线主题框所示。
• 在小型语料（20NG）与大型语料（RCV2）上，TopicKGA均实现更快收敛与更优重建性能（更低的负对数似然值），优于TopicNet及其他基线模型。
• 通过共享嵌入联合建模文档与主题树，生成了更具可解释性的主题层次，相邻层之间具有清晰的语义关联。
• 该模型展现出强大的鲁棒性与灵活性，因为TopicKGA中修订的主题结构能动态适应目标语料，降低先验知识不匹配的影响。