[论文解读] Keyphrase Prediction With Pre-trained Language Model

Rui Liu, Zheng Lin+1 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Text Analysis Techniques参考文献 20被引用 13

一句话总结

该论文提出了一种联合框架，将关键词预测分解为现关键短语抽取（PKE）和缺失关键短语生成（AKG）两个任务，采用共享的 BERT 模型同时处理两项任务。通过将 BERT 应用于序列标注以实现 PKE，并将微调后的 PKE 知识通过门控融合注意力模块整合到基于 Transformer 的 AKG 模型中，该方法在基准数据集上实现了最先进（SOTA）的性能，优于以往的抽取式与生成式模型，在两项任务中均表现更优。

ABSTRACT

Recently, generative methods have been widely used in keyphrase prediction, thanks to their capability to produce both present keyphrases that appear in the source text and absent keyphrases that do not match any source text. However, the absent keyphrases are generated at the cost of the performance on present keyphrase prediction, since previous works mainly use generative models that rely on the copying mechanism and select words step by step. Besides, the extractive model that directly extracts a text span is more suitable for predicting the present keyphrase. Considering the different characteristics of extractive and generative methods, we propose to divide the keyphrase prediction into two subtasks, i.e., present keyphrase extraction (PKE) and absent keyphrase generation (AKG), to fully exploit their respective advantages. On this basis, a joint inference framework is proposed to make the most of BERT in two subtasks. For PKE, we tackle this task as a sequence labeling problem with the pre-trained language model BERT. For AKG, we introduce a Transformer-based architecture, which fully integrates the present keyphrase knowledge learned from PKE by the fine-tuned BERT. The experimental results show that our approach can achieve state-of-the-art results on both tasks on benchmark datasets.

研究动机与目标

• 为解决现有模型在缺失关键短语生成方面表现不足或在现关键短语抽取任务中性能欠佳的问题。
• 通过解耦任务，充分利用抽取式模型（依赖关系建模能力）与生成式模型（缺失关键短语生成能力）的优势。
• 通过在两个子任务间共享来自共享 BERT 模型的上下文知识，提升关键词预测性能。
• 通过门控融合注意力机制显式整合现关键短语知识，提升缺失关键短语生成的质量。

提出的方法

• 将 PKE 任务建模为序列标注问题，使用 BERT 配合 CRF 解码以预测现关键短语。
• 引入句子过滤模块，仅选择可能包含现关键短语的句子，从而降低训练过程中的噪声。
• AKG 任务采用基于 Transformer 的解码器，并以共享 BERT 编码器的输出作为条件。
• 门控融合注意力模块将 BERT 表示与 Transformer 编码器输出相结合，将微调后的 PKE 知识整合到生成过程中。
• 共享 BERT 模型在 PKE 与 AKG 两项任务上联合微调，实现在子任务间共享上下文知识。
• 该框架支持联合优化，使 PKE 能够优化编码器，AKG 则能从准确的关键短语抽取中受益。

实验结果

研究问题

• RQ1 将关键词预测解耦为现关键短语抽取与缺失关键短语生成，是否能同时提升两项任务的性能？
• RQ2 如何联合优化抽取式与生成式模型，以充分发挥其互补优势？
• RQ3 微调后的 BERT 表示从 PKE 中获得的知识，是否能提升生成式模型中缺失关键短语生成的质量？
• RQ4 对噪声句子进行过滤，对现关键短语抽取性能有何影响？
• RQ5 显式引入现关键短语知识，是否能提升生成缺失关键短语的相关性与准确性？

主要发现

• 所提模型在三个基准数据集上的 PKE 与 AKG 任务中均实现了最先进性能。
• 该模型优于强基线模型（如 TG-Net 与 KG-KE-KR），在案例研究中成功生成了所有真实缺失的关键短语，而其他模型至少遗漏了一项。
• 句子过滤模块通过仅选择相关句子提升了 PKE 性能，最优效果出现在 K=7 个选定句子时。
• PKE 的 F1 分数在 K=7 时达到峰值，表明此时召回率与精确率达到最佳平衡，当包含过多噪声句子时性能开始下降。
• 门控融合注意力机制有效将 PKE 知识整合到 AKG 模型中，使缺失关键短语的生成更具主题相关性。
• 模型能动态确定需抽取的关键短语数量（如案例研究中为六个），避免了传统生成模型中固定 top-k 的限制。