[论文解读] Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting

Yen-Chun Chen, Mohit Bansal|arXiv (Cornell University)|May 28, 2018

Topic Modeling参考文献 40被引用 94

一句话总结

简要：本文提出一种混合式提取-抽象摘要模型，先通过强化学习提取器选择重要句子，再对其进行抽象性改写，在 CNN/Daily Mail 上实现最先进的 ROUGE/METEOR，并通过并行句子解码实现更快的推理速度。

ABSTRACT

Inspired by how humans summarize long documents, we propose an accurate and fast summarization model that first selects salient sentences and then rewrites them abstractively (i.e., compresses and paraphrases) to generate a concise overall summary. We use a novel sentence-level policy gradient method to bridge the non-differentiable computation between these two neural networks in a hierarchical way, while maintaining language fluency. Empirically, we achieve the new state-of-the-art on all metrics (including human evaluation) on the CNN/Daily Mail dataset, as well as significantly higher abstractiveness scores. Moreover, by first operating at the sentence-level and then the word-level, we enable parallel decoding of our neural generative model that results in substantially faster (10-20x) inference speed as well as 4x faster training convergence than previous long-paragraph encoder-decoder models. We also demonstrate the generalization of our model on the test-only DUC-2002 dataset, where we achieve higher scores than a state-of-the-art model.

研究动机与目标

• 通过将提取显著性与抽象改写相结合，推动快速、准确的长文摘要。
• 开发一个句子级的 RL 桥接器，将提取器与摘要器连接起来，同时不牺牲流畅性。
• 在 CNN/Daily Mail 上实现最新性能，并推广到 DUC-2002。
• 实现并行解码以大幅提升训练与推理速度。

提出的方法

• 两模块架构：一个提取器用于选择显著句子，一个摘要器对其进行改写。
• 通过时序卷积和双向 LSTM 的分层句子表示来获得上下文信息。
• 使用指针网络和“两跳注意力机制”的句子选择，通过策略梯度（A2C）与基于 ROUGE 的奖励进行训练。
• 摘要器作为编码器-对齐器-解码器，带拷贝机制以生成简明、流畅的改写。
• 对提取器进行 ML 预训练（代理显著性标签），对摘要器进行句子级配对预训练；使用 RL（A2C）对提取器进行端到端微调，同时保持摘要器语言模型固定。
• 可选的重新排序以降低跨句冗余，使用三元组避免和多样性解码来实现。

实验结果

研究问题

• RQ1 一个句子级的 RL 提取器是否能有效识别用于抽象改写的显著句子？
• RQ2 与端到端长文编码器相比，粗到细、先提取再改写的方案是否能在质量、速度和流畅性方面带来提升？
• RQ3 结合 RL 指导提取与带拷贝功能的摘要器时，抽象质量与新颖性有哪些提升？
• RQ4 模型在DUC-2002等领域外数据集上的泛化能力如何？

主要发现

• 在 CNN/Daily Mail 的提取和抽象设置上均达到新的 ROUGE 与 METEOR 最优。
• RL 指导的提取器配合并行句子级解码，使推理速度提升 10-20 倍，训练收敛速度比现有长编码器模型快至 4 倍。
• 摘要模型生成的 N-gram 新颖性显著高于强基线（约 3 倍），表明真正的抽象改写。
• 在仅测试的数据集 DUC-2002 上超越最先进模型，展现良好的泛化能力。
• 人工评估显示相对于强前沿模型在相关性与可读性方面有所提升。
• 可选的重新排序进一步降低跨句冗余，且 ROUGE 指标有可测量的提升。