[论文解读] Latent Tree Models for Hierarchical Topic Detection

Peixian Chen, Nevin L. Zhang+4 more|arXiv (Cornell University)|May 21, 2016

Topic Modeling参考文献 45被引用 4

一句话总结

本文提出分层潜在树分析（HLTA），一种新颖的分层主题检测方法，通过使用二值词存在变量和表示软文档划分的潜在二值变量，对文档集合建模分层潜在树模型（HLTMs）。与基于LDA的方法不同，HLTA不建模文档生成过程，而是基于词共现模式将主题解释为文档聚类，从而在主题连贯性和紧凑性得分方面优于基于nHDP的最先进方法，且生成的层次结构更具语义意义。

ABSTRACT

We present a novel method for hierarchical topic detection where topics are obtained by clustering documents in multiple ways. Specifically, we model document collections using a class of graphical models called hierarchical latent tree models (HLTMs). The variables at the bottom level of an HLTM are observed binary variables that represent the presence/absence of words in a document. The variables at other levels are binary latent variables, with those at the lowest latent level representing word co-occurrence patterns and those at higher levels representing co-occurrence of patterns at the level below. Each latent variable gives a soft partition of the documents, and document clusters in the partitions are interpreted as topics. Latent variables at high levels of the hierarchy capture long-range word co-occurrence patterns and hence give thematically more general topics, while those at low levels of the hierarchy capture short-range word co-occurrence patterns and give thematically more specific topics. Unlike LDA-based topic models, HLTMs do not refer to a document generation process and use word variables instead of token variables. They use a tree structure to model the relationships between topics and words, which is conducive to the discovery of meaningful topics and topic hierarchies.

研究动机与目标

• 开发一种新型分层主题检测方法，无需依赖文档生成过程，即可生成具有语义意义的主题层次结构。
• 利用树状图模型与二值潜在变量，对词共现模式及其分层关系进行建模。
• 通过将主题解释为软文档聚类而非概率词分布，提升主题质量。
• 通过确保高层主题代表更广泛的主题，低层主题代表更具体子主题，提升主题层次的可解释性。
• 在主题连贯性、紧凑性及层次结构质量方面，超越基于LDA的方法（如nHDP）

提出的方法

• HLTA使用分层潜在树模型（HLTMs），其中观测变量为文档中词的二值存在指示符。
• 内部节点的潜在变量表示文档的软划分，每个划分被解释为一个主题。
• 模型在给定其路径上潜在变量的条件下，强制词变量之间的条件独立性，以促进主题聚类的连贯性。
• 通过高主题内出现概率和低跨主题概率的词来表征主题，以确保其具有区分性。
• 在模型构建和最终拟合过程中，采用渐进式EM和分步EM以加速参数学习。
• 通过预训练的word2vec嵌入计算词相似度，使用外部指标评估主题紧凑性。

实验结果

研究问题

• RQ1 一种避免文档生成假设的潜在树模型，是否能产生优于基于LDA方法的更高质量分层主题？
• RQ2 基于词共现模式的软文档划分所导出的主题，与基于概率词分布的主题相比如何？
• RQ3 HLTMs的树状结构在多大程度上提升了主题层次的可解释性和主题连贯性？
• RQ4 使用二值词存在变量和潜在变量聚类，是否能获得优于基于词元的模型的主题连贯性和紧凑性得分？
• RQ5 HLTA生成的主题层次在语义结构和主题分组方面，与nHDP相比质量如何？

主要发现

• 在NIPS和NYT数据集上，HLTA在所有基于LDA的基线方法（包括nHDP）中均实现了显著更高的主题连贯性得分。
• HLTA在主题紧凑性得分方面也显著优于对比方法，表明主题内词语的语义连贯性更强。
• 人工评估显示，HLTA的主题层次在语义连贯性和结构组织方面优于nHDP，具有更清晰的主题分组，如“经济”、“股市”和“公司”等。
• HLTA的主题层次展现出更自然、更易解释的结构，各层级具有明确的分组，而nHDP的输出则呈现混合且不够连贯的分组。
• 尽管使用二值词变量并避免词元级建模，HLTA在计算时间上与nHDP相当或更优，同时提供了更优的主题质量。
• 结果表明，通过分层潜在树结构建模词共现模式，可生成更具意义且更易解释的主题层次。