[论文解读] KERT: Automatic Extraction and Ranking of Topical Keyphrases from Content-Representative Document Titles

Marina Danilevsky, Chi Wang+3 more|arXiv (Cornell University)|Jun 3, 2013

Advanced Text Analysis Techniques参考文献 17被引用 8

一句话总结

KERT 是一种以短语为中心的框架，通过覆盖度、纯度、短语性与完整性四项质量标准，自动从内容代表性文档标题中提取并排序主题关键词。在 DBLP 和 arXiv 数据集上，其在人工评估中优于基线方法超过 50%，在互信息指标上优于基线方法 20%，支持混合长度短语的统一排序。

ABSTRACT

We introduce KERT (Keyphrase Extraction and Ranking by Topic), a framework for topical keyphrase generation and ranking. By shifting from the unigram-centric traditional methods of unsupervised keyphrase extraction to a phrase-centric approach, we are able to directly compare and rank phrases of different lengths. We construct a topical keyphrase ranking function which implements the four criteria that represent high quality topical keyphrases (coverage, purity, phraseness, and completeness). The effectiveness of our approach is demonstrated on two collections of content-representative titles in the domains of Computer Science and Physics.

研究动机与目标

• 解决仅以单字词为中心的关键词提取方法在处理多词短语时效果不佳的局限性。
• 开发一种框架，实现对不同长度（单字词至 n-gram）关键词的直接比较与统一排序。
• 定义并实现四项质量标准——覆盖度、纯度、短语性与完整性，以识别高质量的主题关键词。
• 在计算机科学与物理学领域的真实内容代表性标题集合上评估该框架。
• 弥合关键词质量评估中定量指标（如互信息）与人工判断之间的差距。

提出的方法

• 提出一种以短语为中心的方法，直接从标题构建关键词候选，避免仅依赖单字词的提取。
• 设计一种结合四项标准的排序函数：覆盖度（在某一主题文档中的频率）、纯度（对某一主题的专属性）、短语性（共现显著性）与完整性（避免作为更长短语的子短语）。
• 使用互信息（MI_K）评估 arXiv 数据集上主题与关键词的对齐程度，其中短语被标注至主题，且检查标题中是否包含该短语。
• 采用背景 LDA 进行主题建模，并应用 KERT 排序函数为每个主题生成 top-K 关键词。
• 使用 nKQM@K 评估人工标注的相关性，使用 MI_K 评估主题类别对齐程度。
• 通过 A/B 测试 KERT 的不同变体（如 KERT–cov、KERT–pur）以分离各项标准的贡献。

实验结果

研究问题

• RQ1 以短语为中心的方法是否能实现对不同长度关键词的直接比较与统一排序？
• RQ2 覆盖度、纯度、短语性与完整性四项标准如何共同提升主题关键词的质量？
• RQ3 KERT 框架是否在人工评估与定量指标上均优于现有无监督关键词提取方法？
• RQ4 为何人工判断与基于互信息的评估在纯度与完整性偏好上存在差异？
• RQ5 与短语性及完整性相比，覆盖度与纯度在预测主题相关性方面占据多大主导作用？

主要发现

• 在 DBLP 数据集上，KERT 达到了 58.32% 的 nKQM@5 分数，优于最佳基线方法（kpRel）超过 50%。
• 在 arXiv 数据集上，采用覆盖度与纯度的 KERT（KERT_cov+pur）在 K 值为 100 至 600 时，互信息较基线提升超过 20%。
• KERT–pur 变体在人工评估中得分最高（0.5832 nKQM@5），表明人工偏好更长、更具体的短语。
• 增加短语性与完整性度量并未提升互信息，表明在 arXiv 设置下对主题-类别对齐影响有限。
• 覆盖度在互信息中比纯度更具决定性，而人工判断则更偏好纯度，表明人工直觉与定量指标之间存在差异。
• 仅使用覆盖度的 KERT–cov 表现最差，表明仅靠覆盖度不足以实现高质量关键词排序。