[论文解读] Keyphrase Extraction using Sequential Labeling

Sujatha Das Gollapalli, Xiaoli Li|arXiv (Cornell University)|Aug 1, 2016

Advanced Text Analysis Techniques参考文献 21被引用 11

一句话总结

本文提出一种用于关键词提取的序列标注方法，将任务重新定义为对文档中每个词元分配KP（关键词）或O（其他）标签。通过使用简单的特征（如词性标注、句法树和无监督模型预测），该方法在基准数据集上显著提升了F1分数，优于当前最先进的一阶短语级模型，且无需对词性标签进行严格过滤，自然地处理可变长度关键词。

ABSTRACT

Keyphrases efficiently summarize a document's content and are used in various document processing and retrieval tasks. Several unsupervised techniques and classifiers exist for extracting keyphrases from text documents. Most of these methods operate at a phrase-level and rely on part-of-speech (POS) filters for candidate phrase generation. In addition, they do not directly handle keyphrases of varying lengths. We overcome these modeling shortcomings by addressing keyphrase extraction as a sequential labeling task in this paper. We explore a basic set of features commonly used in NLP tasks as well as predictions from various unsupervised methods to train our taggers. In addition to a more natural modeling for the keyphrase extraction problem, we show that tagging models yield significant performance benefits over existing state-of-the-art extraction methods.

研究动机与目标

• 解决现有关键词提取方法依赖固定n-gram过滤和基于词性标注的候选生成所存在的局限性。
• 克服一阶短语级模型在自然处理可变长度关键词方面的不足。
• 探究是否可通过使用更简单、更具泛化能力的特征（如词性标注、句法树、拼写特征）的序列标注方法，提升关键词提取性能。
• 评估所提出标注器在不同文档集合间的可迁移性。

提出的方法

• 将关键词提取任务重新定义为序列标注问题，其中每个词元被赋予KP（关键词项）或O（非关键词项）标签。
• 使用一组基础特征（包括词项本身、拼写特征（如首字母大写）和句法树信息）训练条件随机场（CRF）模型。
• 将多个无监督关键词提取方法的预测结果作为附加特征，以增强标注器的输入信息。
• 在两个基准数据集（WWW和KDD）上训练并评估该模型，并通过跨数据集迁移实验评估其泛化能力。
• 通过不基于词性标签预先排除候选短语，避免了对词性标签的严格过滤，从而允许更长且更多样化的关键词被纳入考虑。
• 最终的关键词通过预测序列中KP标签的最长连续片段提取得到。

实验结果

研究问题

• RQ1 序列标注方法是否能在F1分数和对关键词长度变化的鲁棒性方面优于现有的基于短语的关键词提取方法？
• RQ2 使用简单、通用的特征（如词性标注、句法树、拼写特征）结合无监督模型预测，是否能比复杂、任务特定的特征在监督式关键词标注中取得更好性能？
• RQ3 在某一数据集（如WWW）上训练的标注器在另一数据集（如KDD）上的泛化能力如何，表明其在不同文档类型间的可迁移性？
• RQ4 去除基于词性标注的过滤后，对不符合传统名词-形容词模式的有效关键词的召回率提升程度如何？

主要发现

• 所提出的基于CRF的标注器在WWW数据集上达到0.2012的F1分数，在KDD数据集上达到0.1583，显著优于所有评估的无监督方法。
• 该模型成功捕捉了各种长度的关键词，包括如'software reliability growth model'和'biased minimax probability machine'等四词短语，这些通常被基于n-gram的系统所遗漏。
• 将无监督模型的预测结果作为附加特征，带来了可测量的性能提升，证明了整合多种信号源的价值。
• 在WWW数据集上训练的模型在KDD数据集上表现出合理的泛化能力，达到0.1956的精确率和0.1583的F1分数，表明其在相关领域间具有较强的可迁移性。
• 该方法消除了对限制性词性过滤（如仅允许名词和形容词）的需求，从而恢复了如'Keyword extraction'等本会被丢弃的关键词。
• 结果表明，仅使用词项本身、拼写特征和句法树结构等更简单的特征集合，即可获得优于先前最先进系统所采用的复杂、领域特定特征的性能。