[论文解读] Learning Algorithms for Keyphrase Extraction

Peter D. Turney|ArXiv.org|Dec 10, 2002

Advanced Text Analysis Techniques参考文献 38被引用 112

一句话总结

本文提出了一种监督学习方法，利用机器学习算法自动从学术文本中提取关键词短语。该方法评估了C4.5决策树和一种名为GenEx的自定义算法，结果表明，GenEx——一种基于领域特定过程知识设计的算法——在关键词短语提取性能上显著优于其他方法，其生成的80%关键词短语经人工评估被认为可接受。

ABSTRACT

Many academic journals ask their authors to provide a list of about five to fifteen keywords, to appear on the first page of each article. Since these key words are often phrases of two or more words, we prefer to call them keyphrases. There is a wide variety of tasks for which keyphrases are useful, as we discuss in this paper. We approach the problem of automatically extracting keyphrases from text as a supervised learning task. We treat a document as a set of phrases, which the learning algorithm must learn to classify as positive or negative examples of keyphrases. Our first set of experiments applies the C4.5 decision tree induction algorithm to this learning task. We evaluate the performance of nine different configurations of C4.5. The second set of experiments applies the GenEx algorithm to the task. We developed the GenEx algorithm specifically for automatically extracting keyphrases from text. The experimental results support the claim that a custom-designed algorithm (GenEx), incorporating specialized procedural domain knowledge, can generate better keyphrases than a generalpurpose algorithm (C4.5). Subjective human evaluation of the keyphrases generated by Extractor suggests that about 80% of the keyphrases are acceptable to human readers. This level of performance should be satisfactory for a wide variety of applications.

研究动机与目标

• 解决从学术文本中自动提取有意义的多词关键词短语的挑战。
• 评估通用机器学习算法是否能在关键词短语提取中达到或超过自定义设计算法的性能。
• 开发并测试一种结合关键词特征过程知识的领域特定算法（GenEx）。
• 通过人工评估衡量关键词短语提取系统的性能，旨在实现信息检索和索引中的实际应用。
• 比较C4.5与GenEx在从文档文本中识别高质量关键词短语方面的有效性。

提出的方法

• 该方法将关键词短语提取视为二分类任务，将文档中的每个短语分类为正例（关键词短语）或负例（非关键词短语）。
• 系统通过句法和词汇模式从文档中提取候选短语，为每个短语构建特征集。
• 在九种不同配置下应用C4.5决策树归纳算法，从标注的训练数据中学习分类规则。
• GenEx被设计为一种专用算法，整合了关于关键词短语构成的程序性知识，例如频率、位置和句法结构。
• 该算法结合启发式规则与学习机制，基于语言学和统计线索优先选择更可能为关键词短语的候选。
• 通过人工判断提取关键词短语的可接受性来评估性能，重点关注其在实际应用中的实用性。

实验结果

研究问题

• RQ1 监督学习方法是否能有效利用机器学习算法从学术文本中提取关键词短语？
• RQ2 通用算法（如C4.5）在关键词短语提取中的表现与自定义算法（如GenEx）相比如何？
• RQ3 在关键词短语提取中，融入领域特定的程序性知识能在多大程度上提升提取质量？
• RQ4 自动提取的关键词短语中，有多大比例被人工阅读者认为可接受？
• RQ5 基于学习的系统是否能达到适用于信息检索和索引实际应用的性能水平？

主要发现

• GenEx在所有九种C4.5决策树算法配置中均优于其关键词短语提取准确率。
• 人工评估显示，GenEx系统生成的约80%的关键词短语被人工阅读者认为可接受。
• 结合领域特定程序性知识的自定义算法GenEx，生成的关键词短语质量高于通用算法C4.5。
• 结果表明，内置语言学和统计启发式规则的专用算法可显著提升关键词短语提取性能。
• 本研究证明，使用人工标注训练数据的监督学习可实现可靠且实用的关键词短语提取，适用于实际应用场景。
• 所达到的性能水平——80%可接受度——被认为足以满足广泛的信息检索和索引任务需求。