[论文解读] Entropic selection of concepts unveils hidden topics in documents corpora

Andrea Martini, Alessio Cardillo+1 more|arXiv (Cornell University)|May 18, 2017

Biomedical Text Mining and Ontologies被引用 4

一句话总结

本文提出一种基于信息论的方法，通过基于熵的筛选机制，从文档语料库中识别并去除通用、常见的概念，从而揭示更精细的主题结构。通过测量词频分布的剩余熵，并过滤掉熵偏差较高的概念，该方法减少了虚假的文档相似性，提升了大规模科学语料库中的主题检测效果。

ABSTRACT

The organization and evolution of science has recently become itself an object of scientific quantitative investigation, thanks to the wealth of information that can be extracted from scientific documents, such as citations between papers and co-authorship between researchers. However, only few studies have focused on the concepts that characterize full documents and that can be extracted and analyzed, revealing the deeper organization of scientific knowledge. Unfortunately, several concepts can be so common across documents that they hinder the emergence of the underlying topical structure of the document corpus, because they give rise to a large amount of spurious and trivial relations among documents. To identify and remove common concepts, we introduce a method to gauge their relevance according to an objective information-theoretic measure related to the statistics of their occurrence across the document corpus. After progressively removing concepts that, according to this metric, can be considered as generic, we find that the topic organization displays a correspondingly more refined structure.

研究动机与目标

• 解决通用、常见概念掩盖文档语料库真实主题结构的问题。
• 开发一种客观的信息论准则，用于识别并去除非信息性概念，而无需人工筛选。
• 通过过滤产生平凡密集连接的概念，改善主题建模与文档相似性网络。
• 实现在大规模科学文档集合中自动、可扩展地检测有意义主题。
• 为语义分析中停用词或常见概念的人工筛选提供稳健的替代方案。

提出的方法

• 该方法使用广义齐塔分布（参数为 n 和 λ）计算概念词频（TF）分布的最大熵。
• 计算剩余熵 S_d，即经验 TF 分布与理论最大熵分布之间的 Kullback-Leibler 散度。
• 对于重缩放的词频（rtf），该方法将分布建模为对数正态分布，并计算离散 Kullback-Leibler 散度，以量化与理论模型的偏离程度。
• 根据剩余熵 S_d 对概念进行排序，将 S_d 较高（即与最大熵偏离显著）的概念视为通用概念并予以过滤。
• 采用百分位数过滤策略，依据其剩余熵选择概念，逐步采用更严格的阈值。
• 仅使用过滤后的概念集合重构文档之间的相似性网络，从而提升主题结构的清晰度。

实验结果

研究问题

• RQ1 如何客观地识别掩盖文档语料库主题结构的通用、常见概念？
• RQ2 去除此类概念在多大程度上能提升科学文档集合中潜在主题的可检测性？
• RQ3 基于熵偏差的信息论度量能否有效替代停用词的人工筛选？
• RQ4 词频分布的剩余熵与概念的信息量之间存在何种相关性？
• RQ5 过滤高熵概念对文档相似性网络的稀疏性与可解释性有何影响？

主要发现

• 该方法成功基于统计偏离最大熵的程度识别并过滤通用概念，减少了虚假的文档连接。
• 过滤后，生成的文档相似性网络呈现出显著更稀疏且更具意义的结构，揭示了更清晰的主题组织。
• 剩余熵 S_d 作为一个稳健、客观的指标，可用于对概念信息量进行排序，其表现优于简单的频率阈值。
• 该方法避免依赖专家筛选，实现了在大规模语料库中可扩展、自动化的主题结构发现。
• 使用广义齐塔分布和对数正态分布对 TF 与 rtf 分布进行建模，能够准确捕捉词频统计特性。
• 基于剩余熵对概念进行百分位数过滤，使研究者能够系统探索在不同噪声去除水平下主题结构的优化过程。