[论文解读] Deep Keyphrase Generation

Rui Meng, Sanqiang Zhao+4 more|arXiv (Cornell University)|Apr 23, 2017

Advanced Text Analysis Techniques参考文献 43被引用 8

一句话总结

本文提出了一种基于深度学习的生成式模型，用于关键词预测，采用带有复制机制的RNN编码器-解码器框架，能够通过捕捉语义意义和句法线索，生成原文中不存在的关键词。该模型在六个数据集上显著提升了性能，尤其在召回高达20%的缺失关键词方面表现突出。

ABSTRACT

Keyphrase provides highly-condensed information that can be effectively used for understanding, organizing and retrieving text content. Though previous studies have provided many workable solutions for automated keyphrase extraction, they commonly divided the to-be-summarized content into multiple text chunks, then ranked and selected the most meaningful ones. These approaches could neither identify keyphrases that do not appear in the text, nor capture the real semantic meaning behind the text. We propose a generative model for keyphrase prediction with an encoder-decoder framework, which can effectively overcome the above drawbacks. We name it as deep keyphrase generation since it attempts to capture the deep semantic meaning of the content with a deep learning method. Empirical analysis on six datasets demonstrates that our proposed model not only achieves a significant performance boost on extracting keyphrases that appear in the source text, but also can generate absent keyphrases based on the semantic meaning of the text. Code and dataset are available at https://github.com/memray/OpenNMT-kpg-release.

研究动机与目标

• 解决现有关键词抽取方法仅能识别文本中已存在的短语、无法生成语义相关但未出现的关键词的局限性。
• 通过神经编码器-解码器框架建模文本的深层语义理解，提升关键词预测性能。
• 引入复制机制，以保留文本中的重要短语，同时实现对新颖且语义相关的关键词的生成。
• 评估模型在无需微调的情况下，跨领域（包括科学出版物和新闻文章）的泛化能力。
• 证明模型能够召回高达20%的缺失关键词，这是以往方法所不具备的能力。

提出的方法

• 使用序列到序列的RNN编码器-解码器架构，将输入文本（摘要）映射为关键词序列。
• 采用复制机制，使解码器能够直接从输入序列中复制子词或短语，从而保留罕见或未登录词。
• 使用交叉熵损失端到端训练模型，基于真实标签优化关键词生成。
• 利用注意力机制对齐编码器隐藏状态与解码器输出，提升上下文感知能力。
• 推理阶段采用束搜索（beam search）生成top-k关键词候选。
• 使用预训练词嵌入，并在多个科学出版物数据集上微调模型。

实验结果

研究问题

• RQ1 神经生成模型能否有效预测源文本中未明确出现的关键词？
• RQ2 复制机制在多大程度上提升了模型生成罕见或未登录词关键词的能力？
• RQ3 该模型是否能在无需微调的情况下泛化到非领域文本（如新闻文章）？
• RQ4 与传统无监督及有监督基线方法相比，该模型在现有和缺失关键词上的F1分数表现如何？
• RQ5 该模型在多大程度上能够捕捉超越表面词共现模式的语义意义？

主要发现

• 所提出的CopyRNN模型在六个基准数据集上，对现有和缺失关键词的F1分数均实现了显著提升。
• 该模型成功召回高达20%的缺失关键词，证明其具备生成原文中未出现但语义相关的短语的能力。
• 在DUC-2001新闻数据集上，CopyRNN的F1@10得分为0.165，优于TextRank（0.097）和KeyCluster（0.140），并接近Tf-Idf（0.270），尽管未进行领域特定的微调。
• 模型正确预测了14.3%包含未登录词的关键词，表明其对罕见或未见词汇具有强大的泛化能力。
• 复制机制使模型能够在保留重要原文短语的同时，仍能生成新颖且上下文相关的关键词。
• 实证结果表明，该模型在迁移至新闻文章等不同领域时，无需重新训练即可实现良好泛化。