[论文解读] Generating Diverse Numbers of Diverse Keyphrases.

Xingdi Yuan, Tong Wang+4 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Text Analysis Techniques参考文献 32被引用 14

一句话总结

本文提出了一种循环生成模型，通过引入专门模块在序列生成过程中增强多样性，从而从文本中生成多样且长度可变的关键短语集合。在三个数据集上进行评估，包括两个新数据集（StackExchange 和 TextWorld ACG），该模型在标准和所提出的可变长度评估指标下均优于基线模型，展现出在无固定输出长度约束下生成多样且上下文相关关键短语的优越性能。

ABSTRACT

Existing keyphrase generation studies suffer from the problems of generating duplicate phrases and deficient evaluation based on a fixed number of predicted phrases. We propose a recurrent generative model that generates multiple keyphrases sequentially from a text, with specific modules that promote generation diversity. We further propose two new metrics that consider a variable number of phrases. With both existing and proposed evaluation setups, our model demonstrates superior performance to baselines on three types of keyphrase generation datasets, including two newly introduced in this work: StackExchange and TextWorld ACG. In contrast to previous keyphrase generation approaches, our model generates sets of diverse keyphrases of a variable number.

研究动机与目标

• 为解决现有关键短语生成模型存在的重复短语生成问题以及依赖固定长度输出评估的局限性。
• 开发一种能够生成可变数量输出的多样化关键短语集合的生成模型。
• 提出考虑可变长度关键短语集合的新评估指标，改进超越固定长度基准的评估方式。
• 在现有及新引入的数据集（包括 StackExchange 和 TextWorld ACG）上评估模型，以证明其鲁棒性与泛化能力。

提出的方法

• 采用循环神经网络架构，实现关键短语的序列化生成，从而实现对生成短语数量的动态控制。
• 在模型中集成特定模块，主动促进生成关键短语之间的多样性，减少重复现象。
• 采用端到端的序列到序列框架，并结合注意力机制，使模型能够关注输入文本的相关部分进行训练。
• 提出两种新评估指标，考虑预测关键短语的可变数量，实现对不同输出长度模型的公平比较。
• 在三个数据集上进行微调与评估：两个现有基准数据集和两个新引入的数据集——StackExchange 和 TextWorld ACG。
• 训练目标中引入多样性正则化，以抑制模型生成冗余或重叠的关键短语。

实验结果

研究问题

• RQ1 生成模型是否能在不被固定输出长度约束的情况下生成多样化关键短语？
• RQ2 在不同数据集上，所提出的模型与现有基线模型在关键短语多样性与相关性方面表现如何？
• RQ3 所提出的可变长度评估指标在多大程度上提升了关键短语生成中模型比较的公平性与准确性？
• RQ4 模型在新领域上是否具备良好的泛化能力，如在新引入的 StackExchange 和 TextWorld ACG 数据集上所展示的？
• RQ5 所提出的促进多样性的模块在多大程度上有效减少了重复关键短语的生成？

主要发现

• 所提模型在包括两个新引入数据集（StackExchange 和 TextWorld ACG）在内的所有三个数据集上，性能均优于基线模型。
• 模型生成的关键短语集合展现出显著更高的多样性，表现为重复率降低以及对不同概念的覆盖更全面。
• 所提出的评估指标能有效捕捉不同输出长度模型之间的性能差异，相比固定长度基准，提供了更准确的评估结果。
• 在新引入的 StackExchange 和 TextWorld ACG 数据集上，模型展现出强大的泛化能力与鲁棒性，在多样性和相关性方面均优于现有方法。
• 整合促进多样性的模块显著降低了重复关键短语的生成，证实了其在生成过程中的有效性。