[论文解读] An Empirical Study on Neural Keyphrase Generation

Rui Meng, Xingdi Yuan+4 more|arXiv (Cornell University)|Sep 22, 2020

Advanced Text Analysis Techniques参考文献 37被引用 4

一句话总结

这项实证研究通过RNN和Transformer架构，在One2One与One2Seq训练范式下，探究了影响神经关键短语生成（KPG）泛化能力的关键因素。作者发现，关键短语的训练顺序（例如，先现再未现）显著影响性能，尤其对未出现的关键短语影响更大；当适当地利用时，更大的训练数据可提升泛化能力，为未来KPG研究提供了实用洞见。

ABSTRACT

Recent years have seen a flourishing of neural keyphrase generation (KPG) works, including the release of several large-scale datasets and a host of new models to tackle them. Model performance on KPG tasks has increased significantly with evolving deep learning research. However, there lacks a comprehensive comparison among different model designs, and a thorough investigation on related factors that may affect a KPG system's generalization performance. In this empirical study, we aim to fill this gap by providing extensive experimental results and analyzing the most crucial factors impacting the generalizability of KPG models. We hope this study can help clarify some of the uncertainties surrounding the KPG task and facilitate future research on this topic.

研究动机与目标

• 为解决神经关键短语生成（KPG）中模型设计与影响泛化能力因素之间缺乏全面比较的问题。
• 探究训练范式（One2One与One2Seq）、模型架构（RNN与Transformer）以及数据规模对KPG系统性能的影响。
• 分析训练过程中关键短语排序对模型泛化的影响，尤其关注未出现关键短语的表现。
• 通过在多样化测试分布与超参数设置下评估模型行为，为未来KPG研究提供实证指导。

提出的方法

• 本研究在KP20k数据集上，对基于RNN与Transformer的模型在One2One与One2Seq两种训练范式下进行评估。
• One2Seq将所有真实标签关键短语通过<bos>、<sep>和<eos>标记连接成单一序列，排序策略包括Pres-Abs（先现后未现）、Abs-Pres（先未后现）以及随机排序。
• RNN模型采用基于GRU的编码器与解码器，并引入复制与覆盖机制；而Transformer变体则用自注意力模块替代GRU。
• 模型使用标准指标（F1@O、R@50与F1@10）进行训练与评估，基于验证集的F1@O分数实施早停策略。
• 系统性地比较多种训练顺序，以评估其对现关键短语与未现关键短语生成性能的影响。
• 应用超参数调优与数据增强策略，以评估更大规模训练数据带来的收益。

实验结果

研究问题

• RQ1 KPG模型在不同测试分布下，尤其是对未出现的关键短语，其泛化能力如何？
• RQ2 训练过程中关键短语目标的顺序（例如，先现再未现 vs. 先未再现）是否影响模型泛化？
• RQ3 增加训练数据规模在多大程度上能提升模型性能，以及如何更有效地加以利用？

主要发现

• Pres-Abs排序策略（先现后未现）在所有排序中表现最佳，尤其在未现关键短语生成方面，于KP20k数据集上达到35.9的F1@O。
• 采用Abs-Pres排序（先未后现）训练的模型在未现关键短语上的表现显著更差，F1@O降至30.7，表明训练顺序对泛化能力有强烈影响。
• Transformer架构（TRANS）在所有设置下均优于RNN模型，在Pres-Abs排序下于KP20k数据集上达到35.9的峰值F1@O。
• 更大的训练数据可提升泛化能力：在完整数据（含增强数据）上训练的模型，其F1@O与R@50得分均高于在小规模子集上训练的模型。
• Pres-Abs策略下，推理时生成的唯一关键短语数量最高，表明其预测具有更好的覆盖度与多样性。
• 随机排序与Alpha排序的性能最低，F1@O值低于25.0，表明任意排序会损害模型学习与泛化能力。