[论文解读] Keyphrase Generation for Scientific Articles using GANs

Avinash Swaminathan, Raj Gupta+4 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Text Analysis Techniques参考文献 8被引用 6

一句话总结

本文提出了一种用于科学文献概括性关键词生成的条件 GAN 框架，采用分层注意力判别器和基于 catSeq 的生成器（集成注意力与复制机制）。该模型在概括性关键词生成任务上达到最先进性能，在 KP20k 数据集上 F1@M 达到 0.045，超越抽取式基线模型，并在 KP20k 上取得最高的 α-nDCG@5（0.85），表明生成的关键词在多样性和质量方面均有提升。

ABSTRACT

In this paper, we present a keyphrase generation approach using conditional Generative Adversarial Networks (GAN). In our GAN model, the generator outputs a sequence of keyphrases based on the title and abstract of a scientific article. The discriminator learns to distinguish between machine-generated and human-curated keyphrases. We evaluate this approach on standard benchmark datasets. Our model achieves state-of-the-art performance in generation of abstractive keyphrases and is also comparable to the best performing extractive techniques. We also demonstrate that our method generates more diverse keyphrases and make our implementation publicly available.

研究动机与目标

• 解决为科学文献生成高质量、多样化概括性关键词的挑战。
• 探索生成对抗网络（GANs）在关键词生成中的应用，该领域 GAN 尚未被广泛采用。
• 通过使用分层判别器进行对抗训练，超越现有抽取式与概括式关键词生成模型。
• 证明基于 GAN 的生成方法相比自回归基线模型，能生成更具多样性和语义相关性的关键词。
• 公开实现代码以支持可复现性与进一步研究。

提出的方法

• 生成器采用 catSeq 架构，包含双向 GRU 编码器与单向 GRU 解码器，集成注意力机制与复制机制以处理 OOV 词。
• 判别器采用分层注意力机制，使用共享的双向 GRU 编码文档与每个关键词，随后通过注意力机制对文档进行上下文感知表征。
• 判别器的最终输出为一个 sigmoid 概率值，表示某组关键词序列是人工标注还是机器生成，基于第二个双向 GRU 层的最终隐藏状态。
• 训练过程交替进行：先通过最大似然法预训练生成器，再使用策略梯度强化学习进行微调，奖励信号来自判别器。
• 奖励信号由判别器的最终隐藏状态计算得出，生成器通过贪心解码的基线进行更新以稳定训练过程。
• 训练过程迭代执行：在生成样本上训练生成器，用真实与生成的关键词重新训练判别器，重复直至收敛。

实验结果

研究问题

• RQ1 条件 GAN 架构能否有效生成质量匹配或超过抽取式方法的概括性关键词？
• RQ2 与自回归模型相比，使用分层判别器进行对抗训练是否能提升关键词的多样性和相关性？
• RQ3 在多个基准数据集上，所提出的基于 GAN 的关键词生成模型与强基线模型（如 catSeq 和 catSeq-RL）相比性能如何？
• RQ4 该模型在不同科学领域中的泛化能力如何？通过 F1@M 与 α-nDCG@5 等指标衡量。
• RQ5 该方法能否生成比抽取式或自回归模型更具多样性的关键词？

主要发现

• 所提出的 GAN 模型在概括性关键词生成任务上达到最先进性能，在 KP20k 数据集上 F1@M 得分为 0.045，优于 catSeq 与 catSeq-RL 基线模型。
• 在 KP20k 数据集上，该模型取得最高的 α-nDCG@5 得分（0.85），比次优模型高出近 5 个百分点。
• 对于抽取式关键词，该模型表现与最佳基线（catSeq-RL）相当，F1@M 为 0.381（KP20k），略低于最佳性能模型。
• 该模型生成的关键词比抽取式基线更具多样性，表现为在除 Inspec 外的所有数据集上，概括性关键词的 F1 分数更高。
• 判别器的分层注意力机制有效捕捉了文档与关键词之间的相关性，从而提升了对真实与生成关键词的判别能力。
• 实现代码已公开发布于 https://github.com/avinsit123/keyphrase-gan，支持可复现性与进一步研究。