[论文解读] Exclusive Hierarchical Decoding for Deep Keyphrase Generation

Wang Chen, Hou Pong Chan+2 more|arXiv (Cornell University)|Apr 18, 2020

Advanced Text Analysis Techniques参考文献 34被引用 6

一句话总结

本文提出了一种用于深度关键词生成的独占分层解码（ExHiRD），通过引入词组级和词级解码过程来建模关键词集合中的分层复合性，并结合软排除和硬排除机制以减少重复。实验表明，在多个基准测试中，该方法显著提升了关键词的多样性与准确性，重复率更低，F1分数更高，优于先前的方法。

ABSTRACT

Keyphrase generation (KG) aims to summarize the main ideas of a document into a set of keyphrases. A new setting is recently introduced into this problem, in which, given a document, the model needs to predict a set of keyphrases and simultaneously determine the appropriate number of keyphrases to produce. Previous work in this setting employs a sequential decoding process to generate keyphrases. However, such a decoding method ignores the intrinsic hierarchical compositionality existing in the keyphrase set of a document. Moreover, previous work tends to generate duplicated keyphrases, which wastes time and computing resources. To overcome these limitations, we propose an exclusive hierarchical decoding framework that includes a hierarchical decoding process and either a soft or a hard exclusion mechanism. The hierarchical decoding process is to explicitly model the hierarchical compositionality of a keyphrase set. Both the soft and the hard exclusion mechanisms keep track of previously-predicted keyphrases within a window size to enhance the diversity of the generated keyphrases. Extensive experiments on multiple KG benchmark datasets demonstrate the effectiveness of our method to generate less duplicated and more accurate keyphrases.

研究动机与目标

• 为解决序列解码在关键词生成中的局限性，即忽略分层结构并导致关键词重复的问题。
• 通过分离词组级和词级解码过程，建模关键词集合的分层复合性。
• 通过软排除和硬排除机制，跟踪滑动窗口内先前生成的关键词，提升关键词多样性。
• 在不依赖固定长度束搜索的前提下，同时预测关键词的数量与内容。
• 通过使用词组级注意力分数重新缩放词级注意力分数，实现更好的上下文聚焦，从而提升生成质量。

提出的方法

• 分层解码框架包括词组级解码（PD），用于识别当前需要总结的方面，随后是词级解码（WD），逐词生成关键词。
• PD利用文档内容和先前生成的关键词，确定下一个需要总结的方面，并使用相应的隐藏表示初始化WD。
• 词级解码关注文档内容，并利用PD的注意力分数重新缩放注意力分数，以突出当前关注的方面。
• 在训练过程中应用软排除机制，鼓励新生成的关键词与过去K个已生成关键词的首词不同。
• 在推理过程中使用硬排除机制，通过独占搜索强制模型避免在最近K个关键词中已使用过的首词。
• 排除机制在大小为K的滑动窗口内应用，两种机制均旨在减少重复，同时保持生成准确性。

实验结果

研究问题

• RQ1 在关键词集合中建模分层复合性是否能提升生成准确性？
• RQ2 在基于序列的生成中引入排除机制是否能减少关键词重复？
• RQ3 排除机制的窗口大小如何影响多样性与性能表现？
• RQ4 所提出的排除机制是否可推广至其他关键词生成模型？
• RQ5 与标准序列解码相比，分层解码在F1分数与重复控制方面是否表现更优？

主要发现

• ExHiRD-h在KP20k数据集上取得了0.110的最高F1@5分数，优于所有基线方法，包括经过独占搜索增强的模型。
• KP20k上的DupRatio降低至3.97，显著低于基线catSeq（3.70）和catSeqCorr（3.36），表明多样性得到改善。
• 随着独占搜索窗口大小K_ES的增加，DupRatio降低而F1@5提升，当K_ES = 'all'时取得最佳结果，尽管存在词干化效应。
• 将独占搜索机制应用于其他基线模型（如catSeq、Transformer）后，其F1@5提升且重复减少，但ExHiRD-h仍表现最优。
• 案例研究证实，ExHiRD-h生成的重复更少——例如，'debugging'仅被生成一次，而基线模型则生成三次或更多。
• 在KP20k上，模型取得了0.374的Present F1和0.311的Absent F1，表明在两类关键词上均表现强劲。