[论文解读] AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization

Keping Bi, Rahul Jha+2 more|arXiv (Cornell University)|Apr 13, 2020

Topic Modeling参考文献 35被引用 5

一句话总结

本文提出 ARedSum-Ctx，一种两步法、自适应冗余感知的迭代句子排序模型，用于抽取式摘要生成。该模型首先评估句子的重要性，然后通过 n-gram 重叠和语义匹配分数等表面特征，学习在重要性与冗余性之间取得平衡。在 CNN/DailyMail 和 NYT50 数据集上，该方法显著优于联合建模方法（ARedSum-Seq）和基于启发式规则的冗余去除方法（如 Trigram Blocking），在保持高精度的同时显著降低冗余性，且取得当前最优的 ROUGE 分数，证明显式、独立建模冗余性相比联合优化，能更有效地提升摘要质量。

ABSTRACT

Redundancy-aware extractive summarization systems score the redundancy of the sentences to be included in a summary either jointly with their salience information or separately as an additional sentence scoring step. Previous work shows the efficacy of jointly scoring and selecting sentences with neural sequence generation models. It is, however, not well-understood if the gain is due to better encoding techniques or better redundancy reduction approaches. Similarly, the contribution of salience versus diversity components on the created summary is not studied well. Building on the state-of-the-art encoding methods for summarization, we present two adaptive learning models: AREDSUM-SEQ that jointly considers salience and novelty during sentence selection; and a two-step AREDSUM-CTX that scores salience first, then learns to balance salience and redundancy, enabling the measurement of the impact of each aspect. Empirical results on CNN/DailyMail and NYT50 datasets show that by modeling diversity explicitly in a separate step, AREDSUM-CTX achieves significantly better performance than AREDSUM-SEQ as well as state-of-the-art extractive summarization baselines.

研究动机与目标

• 探究联合建模重要性与冗余性所带来的抽取式摘要性能提升，究竟是源于更好的编码能力，还是源于更优的冗余处理机制。
• 评估将重要性与冗余性评分分离处理，相较于在迭代句子选择过程中联合优化两者，其性能差异。
• 设计并验证一种两阶段、自适应学习模型，显式平衡重要性与冗余性，以提升摘要质量。
• 比较基于启发式规则的冗余去除（如 Trigram Blocking）与学习型自适应冗余建模在抽取式摘要中的有效性。

提出的方法

• ARedSum-Seq 使用基于 Transformer 的条件句子顺序生成器，联合评估并基于先前已选句子的重要性与新颖性，选择句子。
• ARedSum-Ctx 采用两阶段方法：首先，使用基于 BERT 的编码器对重要性进行评分；其次，通过一个独立模型，利用 n-gram 重叠和语义匹配分数等表面特征，学习在重要性与冗余性之间取得平衡。
• ARedSum-Ctx 中的冗余组件通过成对排序目标进行学习，旨在在已选句子的基础上最大化 ROUGE 得分增益，从而实现对冗余但重要句子的自适应过滤。
• 模型在 CNN/DailyMail 和 NYT50 上端到端训练，使用黄金摘要提供的监督信号，迭代选择过程模拟贪婪解码机制。
• 在 ARedSum-Ctx 的第二阶段，使用三元组重叠比率和基于 BERT 的语义相似度等表面特征，量化冗余性。
• 该方法与强基线模型（包括使用和不使用 Trigram Blocking 的 BertSumExt，以及其他当前最优的抽取式模型）进行比较。

实验结果

研究问题

• RQ1 在单独步骤中显式建模冗余性，是否能带来比在单一序列生成模型中联合优化重要性与冗余性更好的摘要性能？
• RQ2 在 ROUGE 分数与精度方面，学习型冗余模型（ARedSum-Ctx）与基于启发式规则的冗余去除（如 Trigram Blocking）相比，表现如何？
• RQ3 将重要性与冗余性评分分离，在多大程度上能改善抽取式摘要中信息量与冗余性的平衡？
• RQ4 两阶段模型能否在不同文档上自适应地学习平衡重要性与冗余性，并实现优于联合建模的泛化能力？
• RQ5 在自动评估与人工评估中，重要性与冗余性降低对摘要质量的相对贡献分别有多大？

主要发现

• ARedSum-Ctx 在 CNN/DailyMail 和 NYT50 上均达到当前最优性能，在 ROUGE-1、ROUGE-2 和 ROUGE-L 分数上均优于 ARedSum-Seq 和所有强基线模型。
• 在 CNN/DailyMail 上，ARedSum-Ctx 的 ROUGE-L 得分为 43.8，显著高于 BertSumExt + TriBlk（42.5）和 ARedSum-Seq（42.1），且在人工评估中 p 值 < 0.0001。
• 人工评估显示，ARedSum-Ctx 在整体质量（p < 0.03）和冗余性（p < 0.03）方面显著优于 BertSumExt + TriBlk，表明其具有更优的冗余控制能力。
• ARedSum-Ctx 在降低冗余性的同时保持了高精度（P@1 = 0.58，P@2 = 0.62，P@3 = 0.64），而 Trigram Blocking 尽管提升了 ROUGE 分数，却损害了精度。
• 位置分析显示，ARedSum-Ctx 在文档各位置更均衡地选择句子，避免了对前几句话的过度依赖，而 ARedSum-Seq 则集中于前三个句子。
• 在 NYT50 上，ARedSum-Ctx 的冗余性平均排名为 1.00（BertSumExt 为 1.60），p 值 < 0.0001，证实其在减少冗余内容方面具有显著优势。