[论文解读] Adapting the Neural Encoder-Decoder Framework from Single to Multi-Document Summarization

Logan Lebanoff, Kaiqiang Song+1 more|arXiv (Cornell University)|Aug 19, 2018

Topic Modeling参考文献 54被引用 12

一句话总结

本文提出 PG-MMR，一种针对多文档摘要（MDS）的预训练生成式编码器-解码器模型（具体为 Pointer-Generator 网络）的新颖适配方法，无需额外的训练数据。该方法利用最大边际相关性（MMR）从拼接的多文档输入中提取关键句子，随后修改模型的注意力机制以优先关注这些句子，从而减少冗余并提升摘要质量。该方法在标准 MDS 基准测试中达到最先进性能，优于提取式与生成式基线模型，在自动指标与人工评估中均表现优异。

ABSTRACT

Generating a text abstract from a set of documents remains a challenging task. The neural encoder-decoder framework has recently been exploited to summarize single documents, but its success can in part be attributed to the availability of large parallel data automatically acquired from the Web. In contrast, parallel data for multi-document summarization are scarce and costly to obtain. There is a pressing need to adapt an encoder-decoder model trained on single-document summarization data to work with multiple-document input. In this paper, we present an initial investigation into a novel adaptation method. It exploits the maximal marginal relevance method to select representative sentences from multi-document input, and leverages an abstractive encoder-decoder model to fuse disparate sentences to an abstractive summary. The adaptation method is robust and itself requires no training data. Our system compares favorably to state-of-the-art extractive and abstractive approaches judged by automatic metrics and human assessors.

研究动机与目标

• 为解决多文档摘要（MDS）缺乏大规模平行训练数据的问题，该问题阻碍了神经编码器-解码器模型的直接训练。
• 将已在单文档数据上训练的现有生成式摘要模型，适配为在推理阶段有效处理多文档输入。
• 在不重新训练模型的前提下，减少冗余并提升对多文档输入中关键内容的关注。
• 开发一种轻量级、数据高效的方法，结合提取式句子选择与生成式摘要，用于 MDS 任务。
• 通过自动指标与人工评估，对比评估所提方法与当前最先进提取式与生成式 MDS 系统的有效性。

提出的方法

• 该方法通过将所有输入文档拼接为单一文本序列，构建‘超文档’以供处理。
• 应用最大边际相关性（MMR）算法，基于相关性与多样性，从超文档中识别出一组具有代表性且无冗余的句子。
• 动态修改 Pointer-Generator（PG）模型的注意力机制，使其在摘要生成过程中优先关注 MMR 选出的句子。
• 在每生成一个摘要句子后，降低对已使用或高度相似句子的注意力概率，以抑制冗余。
• 该过程迭代进行句子选择与注意力权重更新，使模型能够将关键内容融合为连贯的生成式摘要。
• 该方法无需微调或额外的 MDS 训练数据，仅依赖预训练的 PG 模型与 MMR 进行选择。

实验结果

研究问题

• RQ1 能否在不使用 MDS 训练数据进行微调的前提下，有效适配预训练的生成式摘要模型以处理多文档摘要任务？
• RQ2 如何从多文档输入中提取出关键且多样化的文本内容，以引导生成式摘要？
• RQ3 基于 MMR 的句子选择能否提升多文档输入生成摘要的信息量并减少冗余？
• RQ4 所提方法是否在自动指标与人工评估中均优于现有提取式与生成式 MDS 系统？
• RQ5 该方法在实现抽象化与句子融合的同时，能在多大程度上保持语义内容的完整性？

主要发现

• PG-MMR 在自动指标与人工评估中均优于强基线提取式模型（如 LexRank 与提取式模型）。
• 人工评估中，PG-MMR 摘要被评为整体质量第 1 或第 2 名，其信息量与非冗余性得分最高。
• 在标准 MDS 数据集上，PG-MMR 相较基线 PG 模型在 ROUGE 指标上实现显著提升，证明其在多文档摘要任务中的有效性。
• 尽管依赖于提取式句子选择，PG-MMR 生成的摘要仍展现出高度的抽象性——41% 的摘要句子并非直接来自输入，表明其具备强大的内容融合与改写能力。
• 该系统在多样化的 MDS 测试集上表现出强鲁棒性，无需任何 MDS 特定训练数据即可保持高性能。
• 提取程度略高于 PG-Original 模型（41% 非源句子 vs. 52%），但摘要更具信息量且更少冗余，表明其内容选择与融合能力更优。