[论文解读] Learning Concept Hierarchies through Probabilistic Topic Modeling

V. S. Anoop, S. Asharaf+1 more|arXiv (Cornell University)|Nov 29, 2016

Advanced Text Analysis Techniques参考文献 10被引用 3

一句话总结

本文提出了一种无监督框架，利用潜在狄利克雷分配（LDA）进行主题建模，并结合轻量级语言处理技术，从非结构化文本中提取人类可解释的概念。随后，通过概念之间的概率性“是-一种”关系构建包含关系层次结构，在BBC和路透社数据集上，其概念提取与层次学习性能优于现有方法。

ABSTRACT

With the advent of semantic web, various tools and techniques have been introduced for presenting and organizing knowledge. Concept hierarchies are one such technique which gained significant attention due to its usefulness in creating domain ontologies that are considered as an integral part of semantic web. Automated concept hierarchy learning algorithms focus on extracting relevant concepts from unstructured text corpus and connect them together by identifying some potential relations exist between them. In this paper, we propose a novel approach for identifying relevant concepts from plain text and then learns hierarchy of concepts by exploiting subsumption relation between them. To start with, we model topics using a probabilistic topic model and then make use of some lightweight linguistic process to extract semantically rich concepts. Then we connect concepts by identifying an "is-a" relationship between pair of concepts. The proposed method is completely unsupervised and there is no need for a domain specific training corpus for concept extraction and learning. Experiments on large and real-world text corpora such as BBC News dataset and Reuters News corpus shows that the proposed method outperforms some of the existing methods for concept extraction and efficient concept hierarchy learning is possible if the overall task is guided by a probabilistic topic modeling algorithm.

研究动机与目标

• 从大规模非结构化文本语料库中自动提取人类可解释的概念，且无需领域特定的训练数据。
• 学习提取概念之间的包含关系层次结构（“是-一种”关系），以支持本体生成。
• 评估基于主题建模引导的概念提取是否在性能上优于现有无监督方法。
• 在真实世界新闻语料库（如BBC和路透社）上展示方法的可扩展性与有效性。

提出的方法

• 对大规模非结构化文本语料库应用潜在狄利克雷分配（LDA）以建模主题。
• 使用轻量级语言处理方法，基于词频和逆主题频率识别多词术语作为候选概念。
• 计算归一化词频（Ntf）和逆主题频率（itf），以评分并筛选语义丰富的多词术语。
• 通过计算条件概率P(C₁|C₂)和P(C₂|C₁)建立包含关系，其中当P(C₁|C₂) = 1且P(C₂|C₁) < 1时，C₁包含C₂。
• 通过在所有概念对之间递归应用包含条件，构建层次结构。
• 使用人工标注的概念仓库作为评估的基准，采用精确率、召回率和F1值进行评估。

实验结果

研究问题

• RQ1 能否通过轻量级语言处理方法，从统计生成的主题中有效提取出人类可解释的概念？
• RQ2 所提出的方法能否利用提取概念之间的“是-一种”关系，学习到有意义的包含关系层次结构？
• RQ3 基于主题建模引导的概念提取是否在概念识别与层次学习方面优于现有无监督算法？
• RQ4 在大规模文本语料库中，随着主题数量的增加，该方法的性能如何变化？

主要发现

• 在概念提取方面，该方法取得了0.8165的精确率、0.8901的召回率和0.8516的F1值，优于ACE（F1: 0.2517）和ICE（F1: 0.7595）。
• 随着主题数量的增加，该方法提取了更多人类可解释的概念，展现出良好的可扩展性与鲁棒性。
• 在BBC和路透社新闻语料上的表现持续优于ACE和ICE等基线方法。
• 包含关系层次学习模块成功识别出如“拨号上网”被“网络连接”所包含的层次关系，依据的是文档共现模式。
• 该框架完全采用无监督方式运行，无需领域特定的训练数据或人工标注语料库。
• 结果表明，主题建模的引导显著提升了所提取概念的质量与相关性，以及其层次组织的合理性。