[论文解读] Exploring Explainable Selection to Control Abstractive Generation

Haonan Wang, Yang Gao+3 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling被引用 6

一句话总结

本文提出了一种用于抽取式摘要的选-生框架，通过成对提取器建模句子对交互关系与中心性，增强了可解释性。通过将指针生成器与基于注意力的句子部署机制及可学习掩码矩阵相结合，模型实现了内容选择与生成的控制，在 CNN/DailyMail 和 NYT 数据集上取得了最先进的 ROUGE 分数与更优的人工评估结果。

ABSTRACT

It is a big challenge to model long-range input for document summarization. In this paper, we target using a select and generate paradigm to enhance the capability of selecting explainable contents (i.e., interpret the selection given its semantics, novelty, relevance) and then guiding to control the abstract generation. Specifically, a newly designed pair-wise extractor is proposed to capture the sentence pair interactions and their centrality. Furthermore, the generator is hybrid with the selected content and is jointly integrated with a pointer distribution that is derived from a sentence deployment's attention. The abstract generation can be controlled by an explainable mask matrix that determines to what extent the content can be included in the summary. Encoders are adaptable with both Transformer-based and BERT-based configurations. Overall, both results based on ROUGE metrics and human evaluation gain outperformance over several state-of-the-art models on two benchmark CNN/DailyMail and NYT datasets.

研究动机与目标

• 为解决在结构化选-生范式下建模文档摘要中长距离依赖关系的挑战。
• 通过基于语义、新颖性与相关性的依据，提升内容选择的可解释性。
• 通过可解释的掩码矩阵实现可控的抽取式生成，以调节内容的包含程度。
• 整合基于 Transformer 和 BERT 的编码器，实现灵活且鲁棒的表征学习。
• 在标准基准数据集上超越当前最先进模型，实现更优性能。

提出的方法

• 设计了一种成对提取器，用于建模句子对之间的交互关系，并计算其中心性，以提升内容选择效果。
• 生成器与所选内容相结合，并引入源自句子部署注意力的指针网络，以增强生成的保真度。
• 引入可解释的掩码矩阵，以控制所选内容在最终摘要中的包含程度。
• 通过共享编码器组件，联合训练提取器与生成器，支持基于 Transformer 和 BERT 的架构。
• 利用句子部署注意力引导指针机制，确保生成内容与所选关键句子保持一致。
• 该框架支持端到端训练，联合优化选择与生成目标。

实验结果

研究问题

• RQ1 成对句子交互建模能否提升抽取式摘要中内容选择的可解释性与质量？
• RQ2 在所选内容引导下，基于注意力的指针生成器在生成流畅且相关摘要方面的有效性如何？
• RQ3 可学习掩码矩阵在多大程度上能够控制内容包含并提升摘要质量？
• RQ4 将可解释的选择机制与抽取式生成相结合，是否能在标准基准上带来性能提升？
• RQ5 在统一的选-生框架中，基于 BERT 与基于 Transformer 的编码器表现如何比较？

主要发现

• 所提模型在 CNN/DailyMail 与 NYT 基准数据集上的 ROUGE 指标上达到当前最先进水平。
• 人工评估确认，该模型生成的摘要在流畅性、相关性与语义一致性方面优于竞争模型。
• 可解释的掩码矩阵有效控制内容包含，支持基于语义与相关性信号的细粒度生成控制。
• 成对提取器成功捕捉了句子级别的交互关系与中心性，有助于更优的关键内容选择。
• 结合注意力引导指针机制的混合生成器，提升了抽取式摘要的事实一致性与覆盖度。
• 基于 BERT 与基于 Transformer 的编码器在该框架中均表现有效，各类设置下性能相当。