[论文解读] A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss

Wan‐Ting Hsu, Chieh-Kai Lin+4 more|arXiv (Cornell University)|May 16, 2018

Topic Modeling参考文献 20被引用 24

一句话总结

该论文提出了一种统一的神经模型，通过将抽取式模型的句子级注意力与生成式模型的词级注意力相结合，并引入一种新颖的不一致性损失来对齐两种注意力机制，从而实现抽取式与生成式摘要的融合。该方法在CNN/Daily Mail数据集上取得了SOTA的ROUGE分数，并在人类评估中于信息量、简洁性和可读性方面优于先前方法。

ABSTRACT

We propose a unified model combining the strength of extractive and abstractive summarization. On the one hand, a simple extractive model can obtain sentence-level attention with high ROUGE scores but less readable. On the other hand, a more complicated abstractive model can obtain word-level dynamic attention to generate a more readable paragraph. In our model, sentence-level attention is used to modulate the word-level attention such that words in less attended sentences are less likely to be generated. Moreover, a novel inconsistency loss function is introduced to penalize the inconsistency between two levels of attentions. By end-to-end training our model with the inconsistency loss and original losses of extractive and abstractive models, we achieve state-of-the-art ROUGE scores while being the most informative and readable summarization on the CNN/Daily Mail dataset in a solid human evaluation.

研究动机与目标

• 为解决抽取式与生成式摘要的局限性，结合二者优势：抽取式模型具备高事实召回率但流畅性差，而生成式模型能生成流畅文本但存在事实错误风险。
• 开发一种统一架构，利用抽取式模型的句子级注意力引导生成式模型的词级注意力，提升事实一致性与相关性。
• 提出一种新颖的不一致性损失函数，惩罚句子级与词级注意力分布之间的差异，且无需人工标注。
• 在自动指标（ROUGE）与人类评估中均实现SOTA性能，尤其在信息量、简洁性与可读性方面表现突出。

提出的方法

• 模型使用预训练的抽取式摘要模型生成句子级注意力分数，并将其用于调制生成式指针-生成解码器中的词级注意力。
• 句子级注意力作为门控机制，抑制低优先级句子中的词级注意力，从而减少无关词的生成。
• 引入一种新颖的不一致性损失，以最小化归一化后的句子级注意力与各句子上聚合的词级注意力之间的L2距离。
• 该不一致性损失具有可微性，支持端到端训练统一模型，同时优化抽取式与生成式目标。
• 通过加权组合抽取式损失、生成式损失与不一致性损失，实现端到端训练。
• 最终摘要通过调制后的词级注意力进行解码，生成流畅、简洁且事实准确的输出。

实验结果

研究问题

• RQ1 统一模型能否有效结合抽取式摘要的事实精确性与生成式摘要的流畅性？
• RQ2 如何对齐句子级与词级注意力，以提升生成式摘要中的事实一致性？
• RQ3 一种可微的不一致性损失函数，若能惩罚注意力差异，是否能同时提升ROUGE分数与人类评估质量？
• RQ4 该统一模型能否在自动指标与人类评估（信息量、简洁性、可读性）方面均优于强基线模型？

主要发现

• 该统一模型在CNN/Daily Mail数据集上取得了SOTA的ROUGE-1、ROUGE-2与ROUGE-L分数，优于所有抽取式与生成式基线模型。
• 在人类评估中，该模型在信息量与可读性方面得分高于参考摘要，表明其具备更优的事实覆盖能力与语言流畅性。
• 不一致性损失显著改善了注意力对齐，减少了对低优先级或无关内容的生成。
• 该模型生成的摘要比参考摘要更简洁，同时保持或超越其信息量与可读性评分。
• 消融实验证实，不一致性损失对性能提升至关重要，移除后ROUGE分数与人类评估指标均显著下降。
• 该模型成功缓解了生成式摘要中的常见问题，如重复与事实幻觉，尤其通过抑制对低句子重要性内容的注意力。