[论文解读] EASE: Extractive-Abstractive Summarization with Explanations

Haoran Li, Arash Einolghozati+5 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 34被引用 4

一句话总结

EASE 是一种新颖的抽取式-生成式摘要框架，通过信息瓶颈原理联合训练抽取模块与生成模块，生成自然且可解释的摘要，并附带基于证据的解释。其摘要质量与最先进的生成式模型（如 BART）相当，同时提供的句子级解释比基线方法更具相关性。

ABSTRACT

Current abstractive summarization systems outperform their extractive counterparts, but their widespread adoption is inhibited by the inherent lack of interpretability. To achieve the best of both worlds, we propose EASE, an extractive-abstractive framework for evidence-based text generation and apply it to document summarization. We present an explainable summarization system based on the Information Bottleneck principle that is jointly trained for extraction and abstraction in an end-to-end fashion. Inspired by previous research that humans use a two-stage framework to summarize long documents (Jing and McKeown, 2000), our framework first extracts a pre-defined amount of evidence spans as explanations and then generates a summary using only the evidence. Using automatic and human evaluations, we show that explanations from our framework are more relevant than simple baselines, without substantially sacrificing the quality of the generated summary.

研究动机与目标

• 为解决生成式摘要模型可解释性不足的问题，该问题限制了其在现实世界中的应用。
• 通过生成基于提取证据片段的摘要，结合抽取式与生成式方法的优势——可解释性与语言流畅性。
• 开发一种理论基础扎实的端到端框架，联合优化抽取与生成过程，无需依赖伪标签或基于注意力的解释。
• 通过重用关键短语并基于证据生成保持一致性，确保生成的摘要忠实于源文档。
• 在 CNN/DailyMail 数据集上评估该框架，结果表明其性能与完全生成式模型相当或近乎相当，同时提供可追溯的解释。

提出的方法

• 该框架以预训练的 BART 模型作为主干，为抽取和生成任务分别设置独立的编码器-解码器头。
• 抽取模块使用稀疏性预算，以句子为单位识别预定义数量的证据片段，受信息瓶颈原理指导，以平衡信息保留与紧凑性。
• 生成模块仅使用提取出的证据片段生成最终摘要，确保所有内容均基于源文档。
• 模型采用端到端训练，联合损失函数结合了生成式摘要损失与基于信息瓶颈推导的正则化项，以鼓励选择信息丰富且简洁的证据。
• 稀疏性预算超参数控制提取解释的长度，从而在解释长度与摘要质量之间实现权衡。
• 该方法在 CNN/DailyMail 数据集上通过自动指标（ROUGE）和人工评估进行验证，与抽取式、生成式及基线抽取-生成式模型进行对比。

实验结果

研究问题

• RQ1 联合训练的抽取-生成模型是否能在保持与完全生成式模型相当摘要质量的同时，提供可解释的说明？
• RQ2 与基于注意力或启发式的方法相比，信息瓶颈原理在提升提取证据片段的相关性与连贯性方面有何改进？
• RQ3 仅使用提取出的证据进行生成，对摘要的流畅性与事实一致性造成多大程度的影响？
• RQ4 该框架在类似抽取式的数据集（如 CNN/DailyMail）上是否能保持高性能，同时确保解释既相关又简洁？
• RQ5 稀疏性预算超参数如何影响解释长度与摘要质量之间的权衡？

主要发现

• 在 CNN/DailyMail 数据集上，EASE 的 ROUGE 得分与完全生成式 BART 模型相当，表明基于证据的生成方式对性能影响极小。
• 人工评估显示，EASE 生成的摘要与 BART 的事实一致性几乎相当，仅略有质量下降，但提供了可解释的说明。
• 人工评估确认，EASE 提取的解释显著优于基线方法（包括基于注意力和启发式的提取器）所生成的解释，相关性更高。
• 引入句子级抽取目标后，所有模型的 ROUGE 得分均有所提升，尤其在句子级模型上提升更为显著，优于词粒度模型。
• 通过基于信息瓶颈的损失，框架成功在信息压缩与相关性之间实现平衡，生成的证据片段既简洁又富有信息量。
• 实验表明，采用信息瓶颈原理进行端到端训练，相比分离训练或伪标签方法，能实现更优的证据选择效果。