[论文解读] Extraction of Keyphrases from Text: Evaluation of Four Algorithms

Peter D. Turney|ArXiv.org|Dec 8, 2002

Advanced Text Analysis Techniques参考文献 24被引用 62

一句话总结

本文使用人工生成的关键词作为基准，对四种关键词提取算法——Microsoft Word 97 的 AutoSummarize、基于 Eric Brill 的词性标注器的算法、Verity Search 97 的 Summarize 功能以及 NRC 的 Extractor——在五个文档集合上的表现进行了评估。NRC 的 Extractor 在所有数据集上均表现最优，显示出与人工标注关键词更高的匹配准确率。

ABSTRACT

This report presents an empirical evaluation of four algorithms for automatically extracting keywords and keyphrases from documents. The four algorithms are compared using five different collections of documents. For each document, we have a target set of keyphrases, which were generated by hand. The target keyphrases were generated for human readers; they were not tailored for any of the four keyphrase extraction algorithms. Each of the algorithms was evaluated by the degree to which the algorithm's keyphrases matched the manually generated keyphrases. The four algorithms were (1) the AutoSummarize feature in Microsoft's Word 97, (2) an algorithm based on Eric Brill's part-of-speech tagger, (3) the Summarize feature in Verity's Search 97, and (4) NRC's Extractor algorithm. For all five document collections, NRC's Extractor yields the best match with the manually generated keyphrases.

研究动机与目标

• 评估四种自动化关键词提取算法在匹配人工生成关键词方面的性能。
• 在不针对特定算法进行调优的情况下，评估算法在多样化文档集合中的鲁棒性。
• 基于实证比较，识别最有效的关键词提取方法。
• 通过以人工整理的关键词作为基准，为关键词提取提供基准参考。
• 通过识别现有方法的优势与不足，为未来自动关键词提取系统的发展提供指导。

提出的方法

• 收集了五个不同领域和文本类型的文档集合。
• 为每份文档使用人工生成的关键词作为基准，由独立的人类读者创建。
• 应用了四种关键词提取算法：Microsoft Word 97 的 AutoSummarize、基于 Brill 词性标注器的方法、Verity Search 97 的 Summarize 功能以及 NRC 的 Extractor。
• 通过与人工生成的关键词集合对比，使用精确率和召回率来衡量算法性能。
• 使用标准评估指标，比较算法输出与人工标注关键词之间的匹配率。
• 开展跨文档集合分析，评估每种算法性能的一致性与泛化能力。

实验结果

研究问题

• RQ1 在多样化文档集合中，四种关键词提取算法在匹配人工生成关键词方面表现如何？
• RQ2 哪种算法在识别相关关键词方面展现出最高的精确率和召回率？
• RQ3 任一算法的性能是否在不同文本领域或文档类型间存在显著差异？
• RQ4 人工标注的关键词在多大程度上可作为评估自动化关键词提取的可靠基准？
• RQ5 基于语言学标记（如词性标注）的算法是否能优于简单的启发式方法或商业工具？

主要发现

• NRC 的 Extractor 算法在所有五个文档集合中均与人工生成的关键词匹配率最高。
• Microsoft Word 97 的 AutoSummarize 表现较差，始终低于其他三种算法。
• 基于 Eric Brill 词性标注器的算法表现中等，优于 Word 97 但逊于 NRC 的 Extractor。
• Verity Search 97 的 Summarize 功能优于 Word 97，但劣于 NRC 的 Extractor 和基于 Brill 的方法。
• 性能排名在所有五个文档集合中保持一致，表明评估具有稳健性。
• NRC 的 Extractor 展现出卓越识别语义相关且为人所公认的关键词的能力，表明其有效利用了语言学与统计特征。