[论文解读] SenSeNet: Neural Keyphrase Generation with Document Structure

Yichao Luo, Zhengyan Li+4 more|arXiv (Cornell University)|Dec 12, 2020

Advanced Text Analysis Techniques参考文献 27被引用 9

一句话总结

SenSeNet 提出了一种神经关键词生成模型，通过使用句子选择模块识别关键句子来利用文档结构，借助直通估计器和弱监督提升关键词生成性能。该方法在多种模型上持续提升性能，尤其在缺失和半存在关键词上表现显著，通过聚焦于结构上重要的内容实现。

ABSTRACT

Keyphrase Generation (KG) is the task of generating central topics from a given document or literary work, which captures the crucial information necessary to understand the content. Documents such as scientific literature contain rich meta-sentence information, which represents the logical-semantic structure of the documents. However, previous approaches ignore the constraints of document logical structure, and hence they mistakenly generate keyphrases from unimportant sentences. To address this problem, we propose a new method called Sentence Selective Network (SenSeNet) to incorporate the meta-sentence inductive bias into KG. In SenSeNet, we use a straight-through estimator for end-to-end training and incorporate weak supervision in the training of the sentence selection module. Experimental results show that SenSeNet can consistently improve the performance of major KG models based on seq2seq framework, which demonstrate the effectiveness of capturing structural information and distinguishing the significance of sentences in KG task.

研究动机与目标

• 解决现有关键词生成模型未能利用文档级逻辑结构的局限性。
• 通过识别并强调与文档核心内容语义相关的关键句子，提升关键词生成性能。
• 在不破坏梯度流动的前提下，将元句子归纳偏置融入序列到序列模型。
• 通过聚焦于结构相关句子，提升对现有和缺失关键词（尤其是半存在关键词）的生成性能。
• 设计一个可泛化的模块，可集成到多种编码器-解码器架构中用于关键词生成。

提出的方法

• 句子选择模块使用卷积神经网络（CNN）从词嵌入中提取句子级表征，随后通过二分类器判断句子的重要性。
• 模型采用直通估计器，实现通过句子选择模块离散二值输出的梯度反向传播。
• 重要性预测结果被转换为可学习的嵌入表示（分别对应‘重要’和‘无关’句子），并注入编码器的隐藏状态。
• 该方法使用弱监督指导句子选择模块，提升其识别结构上重要句子的能力。
• 最终的编码器表征结合原始上下文与重要性感知嵌入，再经解码生成关键词。
• 该架构兼容多种编码器-解码器框架，包括 Transformer、LSTM 和 GRU。

实验结果

研究问题

• RQ1 通过句子重要性建模文档结构，能否提升关键词生成性能？
• RQ2 引入元句子归纳偏置对现有和缺失关键词的生成有何影响？
• RQ3 对离散句子选择模块的可微分近似能否有效引导关键词生成？
• RQ4 该模型是否能在不同序列到序列架构和训练范式中实现泛化？
• RQ5 该模型在预测半存在关键词（即关键词的词素存在于原文但不连续）方面，提升程度如何？

主要发现

• SenSeNet 在五个公开数据集上一致提升 F1 分数，使用 GRU+RL 时，缺失关键词的 F1@5 最高提升 0.030。
• 在 KP20k 数据集上，使用 GRU+RL 时，缺失关键词的 F1@5 相对提升达 26%，表明在挑战性关键词类型上表现强劲。
• 案例研究显示，SenSeNet 显著减少了从无关句子生成错误关键词的现象，而基线模型常从噪声内容生成短语。
• 注意力可视化结果证实，重要句子获得更高的注意力权重，而无关句子则抑制与关键词相关词的概率。
• SenSeNet 在多种架构（包括 Transformer、LSTM 和 GRU）上均表现提升，表明其具备强大的泛化能力。
• 该模型在预测半存在关键词方面表现尤为突出，这些关键词由原文中非连续的词素构成，表明其对文档结构具备更优的推理能力。