[论文解读] Controllable Abstractive Summarization

Angela Fan, David Grangier+1 more|arXiv (Cornell University)|Nov 14, 2017

Topic Modeling参考文献 31被引用 26

一句话总结

本文提出了一种可控的抽象式摘要模型，允许用户指定高层偏好，如摘要长度、目标实体、写作风格以及文档剩余部分。通过将序列到序列模型基于离散控制变量进行条件化——以特殊标记实现长度、实体、风格和文档位置——该模型生成个性化且高质量的摘要，在CNN-DailyMail数据集上的表现优于当前最先进系统，F1-ROUGE1达到40.38，盲评中人类偏好度达59%。

ABSTRACT

Current models for document summarization disregard user preferences such as the desired length, style, the entities that the user might be interested in, or how much of the document the user has already read. We present a neural summarization model with a simple but effective mechanism to enable users to specify these high level attributes in order to control the shape of the final summaries to better suit their needs. With user input, our system can produce high quality summaries that follow user preferences. Without user input, we set the control variables automatically. On the full text CNN-Dailymail dataset, we outperform state of the art abstractive systems (both in terms of F1-ROUGE1 40.38 vs. 39.53 and human evaluation).

研究动机与目标

• 解决现有抽象式摘要模型缺乏用户控制的问题，这些模型忽略了用户对期望长度、目标实体、写作风格或文档未读部分等偏好的需求。
• 设计一种简单而有效的机制，对神经摘要模型进行用户指定控制变量的条件化，而无需复杂的架构修改。
• 证明控制变量不仅实现个性化，即使通过最优值自动设定，也能提升摘要质量。
• 通过自动指标（ROUGE）和CNN/DailyMail基准的人工评估，验证模型的优越性。

提出的方法

• 模型采用带有门控线性单元（GLU）和多跳注意力机制的卷积序列到序列架构，编码器和解码器均使用该结构。
• 在解码器中引入内部注意力机制，以跟踪已生成内容并减少重复。
• 控制变量通过预加到输入的特殊标记实现：长度区间、去标识化实体、源风格标记（如CNN或Daily Mail）以及文档位置指示符。
• 通过字节对编码（BPE）进行子词分词，并在编码器和解码器嵌入之间共享权重，从而在不使用指针网络的情况下改善罕见实体的处理。
• 训练时提供真实控制变量；推理时，用户可通过这些标记指定期望值。
• 模型采用最大似然训练，并通过最优控制值进行微调，以提升泛化能力。

实验结果

研究问题

• RQ1 是否可以通过一种简单统一的控制机制，有效根据用户指定的属性（如长度、实体、风格和文档部分）个性化抽象式摘要？
• RQ2 即使控制变量通过最优值自动设定，模型在控制变量条件化下是否仍能提升摘要质量？
• RQ3 在ROUGE和人类偏好方面，该模型与最先进抽象式摘要模型相比表现如何？
• RQ4 在受控摘要设置中，自动指标（如ROUGE）与人类判断的相关性在多大程度上成立？

主要发现

• 在完整文本的CNN-DailyMail数据集上，该模型达到40.38的F1-ROUGE1，优于先前最先进模型（39.53 F1-ROUGE1）。
• 在实体去标识化设置下，该模型相比先前SOTA模型，F1-ROUGE1提升0.76分。
• 在包含500篇测试文章、共2,500次判断的盲评中，59%的评分偏好该模型生成的摘要，优于See等（2017）的模型。
• 控制变量极为有效：通过更改长度标记令牌，可精确控制摘要长度；使用真实控制标记显著提升摘要质量。
• 该模型在ROUGE得分与人类偏好之间表现出强相关性，在至少四名评审员达成一致的案例中，有三分之二的情况两者判断一致。
• 即使控制变量被设为固定值（通过最优值调优），且无用户输入，该模型仍优于SOTA系统，证明控制机制有助于提升学习效果。