[论文解读] Does Order Matter? An Empirical Study on Generating Multiple Keyphrases as a Sequence

Rui Meng, Xingdi Yuan+4 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Text Analysis Techniques参考文献 20被引用 17

一句话总结

本文研究了序列式关键词生成中短语排序的影响，提出了六种多关键词拼接策略。研究发现，'Appear-Ap'排序——即按源文中首次出现顺序排序，并将未出现的关键词附加在末尾——表现最佳，F1@10得分为0.347，同时强调束宽和模型复杂度是影响训练稳定性和抽象能力的关键因素。

ABSTRACT

Recently, concatenating multiple keyphrases as a target sequence has been proposed as a new learning paradigm for keyphrase generation. Existing studies concatenate target keyphrases in different orders but no study has examined the effects of ordering on models' behavior. In this paper, we propose several orderings for concatenation and inspect the important factors for training a successful keyphrase generation model. By running comprehensive comparisons, we observe one preferable ordering and summarize a number of empirical findings and challenges, which can shed light on future research on this line of work.

研究动机与目标

• 研究不同的多关键词拼接排序策略对序列式关键词生成模型性能的影响。
• 识别能增强One2Seq关键词生成模型泛化能力和训练稳定性的最优短语排序。
• 评估束宽和模型复杂度对现有及未见关键词生成的影响。
• 考察序列式关键词生成模型在抽取与抽象能力之间的权衡。
• 解决关键词生成束搜索解码中多样性低、冗余度高的挑战。

提出的方法

• 提出六种短语排序策略：Random、No-Sort、Length、Alpha、Appear-Pre 和 Appear-Ap，用于将关键词拼接为单一序列。
• 采用带有指针-生成器和注意力覆盖机制的序列到序列模型进行训练与解码。
• 使用不同束宽（10、25、50）的束搜索，从单一序列输出中生成多个候选关键词。
• 通过F1@5和F1@10指标在现有关键词生成任务上比较不同排序策略下的模型性能。
• 通过未见关键词的Recall@10和Recall@50指标评估抽象能力，尤其针对大模型。
• 采用三种模型架构：BaseRNN、BigRNN 和 Transformer，以评估模型复杂度对性能的影响。

实验结果

研究问题

• RQ1 目标序列中关键词的排序是否显著影响序列式关键词生成模型的性能？
• RQ2 在Random、No-Sort、Length、Alpha、Appear-Pre 和 Appear-Ap策略中，哪种排序策略能为现有关键词生成带来最高的F1分数？
• RQ3 束宽如何影响不同排序策略下One2Seq模型的稳定性和性能？
• RQ4 增加模型复杂度（如BigRNN、Transformer）是否能提升现有及未见关键词生成的性能？
• RQ5 使用拼接后的短语进行训练，在多大程度上能增强模型的抽象能力，而非抽取能力？

主要发现

• Appear-Ap排序（即按源文中首次出现顺序排序，并将未出现的关键词附加在末尾）在束宽50时达到最高的F1@10得分0.347。
• 束宽50在所有排序策略中均显著提升性能，缩小性能差距并增强稳定性，尤其在F1@10指标上表现突出。
• 与BaseRNN模型相比，模型复杂度（如BigRNN和Transformer）在现有关键词生成任务上并未显著提升性能。
• 使用拼接短语训练的One2Seq模型表现出强大的抽取能力，但抽象能力较弱，即使在束宽50时，未见关键词的Recall@50仍低于0.07。
• Transformer模型在所有模型中取得最高的Recall@10（0.070）和Recall@50（0.071），表明其具备更强的抽象能力，尽管在现有关键词上的F1分数较低。
• 束宽10的过生成（over-generation）导致唯一关键词占比不足20%，表明序列式关键词生成在解码多样性方面面临重大挑战。