[论文解读] Concept Pointer Network for Abstractive Summarization

Wenbo Wang, Yang Gao+2 more|arXiv (Cornell University)|Oct 18, 2019

Topic Modeling参考文献 28被引用 7

一句话总结

本文提出了一种概念指针网络，通过整合知识库中的上下文感知概念化，将源文本转化为更高层次的抽象概念，而非简单复制原文内容，从而增强生成式摘要的质量。通过一种新颖的指针机制联合利用源文本和概念候选，并采用远程监督训练策略，该模型在 DUC-2004 和 Gigaword 数据集上均实现了与最先进模型相比具有统计显著性的 ROUGE 指标提升，人工评估也证实其摘要更具抽象性且质量更高。

ABSTRACT

A quality abstractive summary should not only copy salient source texts as summaries but should also tend to generate new conceptual words to express concrete details. Inspired by the popular pointer generator sequence-to-sequence model, this paper presents a concept pointer network for improving these aspects of abstractive summarization. The network leverages knowledge-based, context-aware conceptualizations to derive an extended set of candidate concepts. The model then points to the most appropriate choice using both the concept set and original source text. This joint approach generates abstractive summaries with higher-level semantic concepts. The training model is also optimized in a way that adapts to different data, which is based on a novel method of distantly-supervised learning guided by reference summaries and testing set. Overall, the proposed approach provides statistically significant improvements over several state-of-the-art models on both the DUC-2004 and Gigaword datasets. A human evaluation of the model's abstractive abilities also supports the quality of the summaries produced within this framework.

研究动机与目标

• 解决现有生成式摘要模型在生成高层次抽象概念方面的能力局限，而非简单复制源文本内容。
• 通过将世界知识整合到指针生成器框架中，提升新概念词的生成能力。
• 开发一种远程监督训练策略，以增强模型在多样化数据集上的适应能力。
• 通过平衡摘要的抽象性与流畅性，实现 ROUGE 指标和人工评估中的更优表现。

提出的方法

• 该模型使用一种上下文感知的概念指针，基于与源词的语义相关性，从知识库中提取的大量候选概念中进行选择。
• 采用双指针机制：一个用于源文本词汇，另一个用于概念词汇，通过注意力机制选择以平衡复制与抽象。
• 利用上下文敏感的分布动态更新概念候选，以反映每个概念对目标词的代表性强度。
• 采用一种新颖的远程监督训练策略，基于参考摘要和测试集统计信息进行端到端训练，从而提升泛化能力。
• 强化学习作为远程监督训练的补充，但在存在语义分布偏移的数据集上，远程监督训练表现更优。
• 最终输出通过一个序列到序列生成器生成，兼顾流畅性并融合源词与高层次概念。

实验结果

研究问题

• RQ1 将基于知识的概念整合到指针生成器中，能否提升生成式摘要的抽象程度？
• RQ2 与标准指针生成器相比，上下文感知的概念指针在生成非冗余、高层次语义内容方面表现如何？
• RQ3 与仅使用强化学习相比，远程监督训练是否能带来更好的模型泛化能力？
• RQ4 人类评估者在多大程度上认为本模型生成的摘要比基线模型更具抽象性且质量更高？

主要发现

• 在 DUC-2004 和 Gigaword 数据集上，该概念指针网络在 ROUGE-L、ROUGE-1 和 ROUGE-2 指标上均显著优于多个最先进模型。
• 在 DUC-2004 数据集上，采用远程监督训练的模型相比强化学习训练的模型，在相对提升上达到 3.5% 至 9.6%，表明其对分布偏移具有更强的适应能力。
• 人工评估显示，该模型在抽象性上得分为 10.00/20，在整体质量上得分为 9.60/20，显著优于 seq2seq+attention（5.85, 5.65）和指针生成器（8.95, 8.10）。
• 最优候选概念数量为：Gigaword 数据集 k=1，DUC-2004 数据集 k=2，且硬分配（argmax）优于随机选择。
• 该模型通过生成如 'group' 而非 '317 athletes' 等更抽象的概念，减少了对直接复制的依赖，展现出更强的概念抽象能力。
• 生成的摘要具有流畅性、长度适中且信息丰富，与基线模型相比，明显更倾向于高层次语义表征。