[论文解读] Keyphrase Extraction with Span-based Feature Representations

Funan Mu, Zhenting Yu+8 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Text Analysis Techniques参考文献 29被引用 13

一句话总结

该论文提出了一种名为Span Keyphrase Extraction（SKE）的新型两阶段方法，通过基于跨度的特征表示来提取关键词短语，能够有效处理重叠短语并利用它们之间的上下文交互。通过使用BERT或RNN生成跨度级表示，并利用双向LSTM建模短语间交互，SKE在基准数据集上实现了最先进性能，F1分数和重叠关键词短语检测能力均优于现有方法。

ABSTRACT

Keyphrases are capable of providing semantic metadata characterizing documents and producing an overview of the content of a document. Since keyphrase extraction is able to facilitate the management, categorization, and retrieval of information, it has received much attention in recent years. There are three approaches to address keyphrase extraction: (i) traditional two-step ranking method, (ii) sequence labeling and (iii) generation using neural networks. Two-step ranking approach is based on feature engineering, which is labor intensive and domain dependent. Sequence labeling is not able to tackle overlapping phrases. Generation methods (i.e., Sequence-to-sequence neural network models) overcome those shortcomings, so they have been widely studied and gain state-of-the-art performance. However, generation methods can not utilize context information effectively. In this paper, we propose a novelty Span Keyphrase Extraction model that extracts span-based feature representation of keyphrase directly from all the content tokens. In this way, our model obtains representation for each keyphrase and further learns to capture the interaction between keyphrases in one document to get better ranking results. In addition, with the help of tokens, our model is able to extract overlapped keyphrases. Experimental results on the benchmark datasets show that our proposed model outperforms the existing methods by a large margin.

研究动机与目标

• 为解决现有关键词短语抽取方法的局限性，特别是其无法处理重叠关键词短语以及未能有效利用上下文信息的问题。
• 开发一种通过在全文上下文中建模基于跨度的表示来捕捉关键词短语之间交互的方法。
• 通过利用从词序列中提取的高层次语义表示而非单个词元，提升关键词短语排序性能。
• 实现端到端的重叠且语义上不同的关键词短语抽取，而无需依赖耗时的手动特征工程。

提出的方法

• 通过基于词性模式的跨度检测识别候选关键词短语，每个短语由其起始和结束词元位置表示。
• 使用BERT或RNN生成基于跨度的表示，编码来自全文的上下文和语义信息。
• 应用双向LSTM或GRU建模跨度表示之间的交互，捕捉更高级别的短语关系。
• 最终分类头基于学习到的短语表示对候选短语进行排序，实现有效关键词短语选择。
• 通过将每个跨度独立处理，模型支持重叠关键词短语的抽取，避免了序列标注方法的约束。
• 该方法可通过修改候选生成阶段，适配其他NLP任务（如命名实体识别）。

实验结果

研究问题

• RQ1 基于跨度的表示方法是否能有效捕捉文档中重叠关键词短语之间的语义交互？
• RQ2 与基于词元的生成模型相比，使用双向RNN建模短语级表示是否能提升关键词短语排序性能？
• RQ3 该模型在检测对序列标注方法而言难以提取的重叠关键词短语方面，能力达到何种程度？
• RQ4 在基准数据集上，与最先进基于生成和两阶段排序模型相比，该方法在F1分数和鲁棒性方面表现如何？

主要发现

• SKE-Large-CLS模型在四个基准数据集上实现了最先进性能，优于包括CopyRNN和CorrRNN在内的强基线模型。
• 在KP20K数据集上，SKE-RNN-Cls在F1@5和F1@10上分别较CopyRNN提升1.8%和12.9%。
• 该模型在NUS和SemEval数据集上分别成功提取了69.70%和73.77%的重叠关键词短语，展现出强大的重叠短语处理能力。
• SKE模型的训练速度比使用BERT-Large的句子对分类基线快66倍，显著提升了训练效率。
• 案例研究显示，SKE-Large-CLS识别出两个额外的关键词短语，并在排序上优于CorrRNN，成功将'audio conferencing'和'audio service'作为独立且有效的关键词短语识别。
• 该模型有效捕捉了短语作为整体单位的语义含义，避免了生成模型产生重叠前缀（如'real time services'和'real time'）的问题。