[论文解读] Learning to Extract Coherent Summary via Deep Reinforcement Learning

Yuxiang Wu, Baotian Hu|arXiv (Cornell University)|Apr 19, 2018

Topic Modeling参考文献 32被引用 30

一句话总结

本文提出了一种强化神经抽取式摘要模型（RNES），通过将可学习的神经连贯性模型整合到深度强化学习框架中，提升了摘要的连贯性。通过同时使用ROUGE分数和跨句连贯性作为奖励，RNES在CNN/Daily Mail数据集上的表现优于现有基线模型，生成的摘要在自动指标和人工评估中均显示出更高的连贯性、可读性和信息量。

ABSTRACT

Coherence plays a critical role in producing a high-quality summary from a document. In recent years, neural extractive summarization is becoming increasingly attractive. However, most of them ignore the coherence of summaries when extracting sentences. As an effort towards extracting coherent summaries, we propose a neural coherence model to capture the cross-sentence semantic and syntactic coherence patterns. The proposed neural coherence model obviates the need for feature engineering and can be trained in an end-to-end fashion using unlabeled data. Empirical results show that the proposed neural coherence model can efficiently capture the cross-sentence coherence patterns. Using the combined output of the neural coherence model and ROUGE package as the reward, we design a reinforcement learning method to train a proposed neural extractive summarizer which is named Reinforced Neural Extractive Summarization (RNES) model. The RNES model learns to optimize coherence and informative importance of the summary simultaneously. Experimental results show that the proposed RNES outperforms existing baselines and achieves state-of-the-art performance in term of ROUGE on CNN/Daily Mail dataset. The qualitative evaluation indicates that summaries produced by RNES are more coherent and readable.

研究动机与目标

• 为解决神经抽取式摘要模型中摘要连贯性不足的问题，这些模型常生成语义割裂的摘要。
• 开发一种端到端可训练的神经连贯性模型，无需依赖手工特征或外部命名实体识别系统，即可捕捉句子间的语义与句法连贯性。
• 设计一种强化学习框架，联合优化句子信息量（通过ROUGE）与句子间连贯性。
• 评估将连贯性作为奖励是否能提升摘要质量，而不仅仅是基于ROUGE的优化。

提出的方法

• 提出一种新颖的神经连贯性模型，利用句子的分布式表示估计两句话之间的连贯性，通过多层卷积和最大池化操作实现。
• 该神经连贯性模型在无标签数据上进行端到端训练，无需特征工程或外部命名实体识别系统。
• 强化神经抽取式摘要（RNES）模型采用策略梯度强化学习（REINFORCE）选择用于摘要的句子。
• 奖励函数结合了来自神经连贯性模型的即时奖励（用于句子对的连贯性）和最终的ROUGE分数（用于整体信息量与流畅性）。
• 训练过程中，RNES智能体学习提取能最大化累积奖励的句子序列，从而倾向于生成连贯且信息丰富的摘要。
• 该模型在CNN/Daily Mail数据集上通过结合基于ROUGE的最终奖励与基于连贯性的中间奖励进行微调。

实验结果

研究问题

• RQ1 神经连贯性模型是否能在不依赖手工特征或NER系统的情况下，有效捕捉句子间的语义与句法连贯性？
• RQ2 在强化学习目标中引入学习到的连贯性信号，是否能提升抽取式摘要的连贯性？
• RQ3 RNES模型在ROUGE分数和人工评分的质量指标方面，与强基线模型相比表现如何？
• RQ4 在同时结合连贯性与信息量奖励的模型，是否能生成比仅基于ROUGE训练的摘要更具可读性和连贯性的摘要？
• RQ5 引入连贯性奖励是否能提升信息量，如人工评估所测量的那样？

主要发现

• RNES模型在CNN/Daily Mail数据集上达到最先进性能，在ROUGE-1、ROUGE-2和ROUGE-L指标上均优于现有基线模型。
• 人工评估显示，使用连贯性奖励的RNES生成的摘要连贯性显著更高（平均评分1.092），而未使用连贯性奖励的摘要平均评分为1.325，p值 < 0.05。
• 使用连贯性奖励的RNES模型在信息量（1.125 vs. 1.183）和整体质量（1.209 vs. 1.492）方面也优于基线，表明连贯性可提升摘要质量，而不仅限于ROUGE指标。
• 定性分析表明，使用连贯性奖励的RNES生成的摘要避免了模糊代词的使用，并保持了逻辑流畅性，例如先介绍主语再进行指代。
• 神经连贯性模型成功识别出合适的句子对用于连贯性判断，且该信号有效引导RNES智能体提取出更具逻辑连贯性的摘要。
• RNES使用与不使用连贯性奖励的ROUGE分数95%置信区间存在重叠，表明ROUGE差异在统计上不显著，但人工评估明确证实了连贯性方面的优势。