[论文解读] TaxoGen: Unsupervised Topic Taxonomy Construction by Adaptive Term Embedding and Clustering

Chao Zhang, Fangbo Tao+6 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 34被引用 15

一句话总结

TaxoGen 提出了一种无监督方法，通过将语义一致的术语组聚类为分层概念主题来构建主题分类体系，采用自适应球面聚类将术语分配至合适的层级，并利用局部嵌入增强细粒度层级的判别能力。该方法在真实数据集上的关系准确率、术语连贯性和聚类质量方面均达到当前最优性能。

ABSTRACT

Taxonomy construction is not only a fundamental task for semantic analysis of text corpora, but also an important step for applications such as information filtering, recommendation, and Web search. Existing pattern-based methods extract hypernym-hyponym term pairs and then organize these pairs into a taxonomy. However, by considering each term as an independent concept node, they overlook the topical proximity and the semantic correlations among terms. In this paper, we propose a method for constructing topic taxonomies, wherein every node represents a conceptual topic and is defined as a cluster of semantically coherent concept terms. Our method, TaxoGen, uses term embeddings and hierarchical clustering to construct a topic taxonomy in a recursive fashion. To ensure the quality of the recursive process, it consists of: (1) an adaptive spherical clustering module for allocating terms to proper levels when splitting a coarse topic into fine-grained ones; (2) a local embedding module for learning term embeddings that maintain strong discriminative power at different levels of the taxonomy. Our experiments on two real datasets demonstrate the effectiveness of TaxoGen compared with baseline methods.

研究动机与目标

• 解决传统术语级分类体系将每个术语视为独立节点所带来的覆盖度低、冗余度高、信息量有限等问题。
• 构建一种主题分类体系，其中每个节点代表一组语义一致的术语，形成一个概念主题而非单一术语。
• 通过在粗粒度主题递归分割过程中动态分配术语至合适层级，提升分类体系质量。
• 通过在主题约束子语料上学习局部嵌入，增强低层级术语嵌入的判别能力。
• 开发一种无需人工监督的方法，在保持语义连贯性和层次结构之间实现平衡。

提出的方法

• 使用术语嵌入在潜在向量空间中表示概念术语之间的语义关系。
• 采用层次聚类递归地将粗粒度主题拆分为更细粒度的子主题。
• 引入一种自适应球面聚类模块，用于评估术语的代表性，并迭代识别应保留在父层级的一般性术语。
• 应用局部嵌入模块，在主题约束的子语料上重新训练术语嵌入，以提升低层级的判别能力。
• 使用排序函数指导分割过程中的术语分配，确保一般性或重叠性术语不会被错误分配至子主题。
• 结合聚类质量度量（Davies-Bouldin 指数）和人工评估（术语连贯性）来验证分类体系结构。

实验结果

研究问题

• RQ1 通过将主题表示为语义一致术语的聚类而非单个术语，能否更有效地构建主题分类体系？
• RQ2 如何自适应地将术语分配至分层分类体系的合适层级，以避免对一般性或重叠性概念的误分类？
• RQ3 从主题约束子语料中学习局部嵌入，是否能提升细粒度层级上术语表征的判别能力？
• RQ4 与现有基于模式和嵌入的基线方法相比，所提出方法在分类体系质量与连贯性方面有多大程度的优越性？
• RQ5 递归构建过程在保持高语义连贯性的同时，能否有效减少冗余并提升覆盖度？

主要发现

• TaxoGen 在所有对比方法中关系准确率最高（DBLP 上为 0.775，SP 上为 0.520），显著优于基线模型。
• 其术语连贯性得分最高（DBLP 上为 0.728，SP 上为 0.592），表明每个聚类中顶层术语具有高度的语义连贯性。
• TaxoGen 的 Davies-Bouldin 指数在所有基于嵌入的方法中最小，证明其聚类结构质量更优。
• 消融实验表明，自适应聚类模块和局部嵌入模块均不可或缺；移除任一模块均会导致性能显著下降。
• TaxoGen 显著优于主题建模方法（HPAM、HLDA），尤其在短文档 DBLP 数据集上，得益于对语义细微差别的更好处理和更优的术语选择。
• 该方法通过防止同一概念的多种表达被拆分为独立节点，有效减少了冗余，同时通过语义聚类保持了高覆盖度。