[论文解读] A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization

Li Wang, Junlin Yao+4 more|arXiv (Cornell University)|May 9, 2018

Topic Modeling参考文献 24被引用 26

一句话总结

该论文提出了一种基于强化学习、具备主题感知能力的卷积序列到序列模型，用于抽取式文本摘要生成。通过联合注意力机制和偏向性概率生成机制，将主题信息融入模型，以提升摘要的连贯性、多样性与信息量。通过结合自critical序列训练（SCST）与ConvS2S，模型直接优化ROUGE分数，缓解了暴露偏差问题，在Gigaword、DUC-2004和LCSTS数据集上取得了最先进性能。

ABSTRACT

In this paper, we propose a deep learning approach to tackle the automatic summarization tasks by incorporating topic information into the convolutional sequence-to-sequence (ConvS2S) model and using self-critical sequence training (SCST) for optimization. Through jointly attending to topics and word-level alignment, our approach can improve coherence, diversity, and informativeness of generated summaries via a biased probability generation mechanism. On the other hand, reinforcement training, like SCST, directly optimizes the proposed model with respect to the non-differentiable metric ROUGE, which also avoids the exposure bias during inference. We carry out the experimental evaluation with state-of-the-art methods over the Gigaword, DUC-2004, and LCSTS datasets. The empirical results demonstrate the superiority of our proposed method in the abstractive summarization.

研究动机与目标

• 为解决现有抽取式摘要生成模型在生成连贯、多样且信息丰富的摘要方面存在的局限性。
• 通过采用自critical序列训练（SCST）来克服序列生成中的暴露偏差与训练-推理分布不匹配问题。
• 通过将主题感知的上下文对齐机制整合到卷积序列到序列框架中，提升模型性能。
• 通过直接优化不可微分的ROUGE分数，弥合自动评估指标（如ROUGE）与训练目标之间的差距。

提出的方法

• 提出一种联合主题感知注意力机制，在编码与解码过程中同时对齐主题级与词级表示。
• 采用偏向性概率生成机制，将主题嵌入融入生成过程，以引导生成更具连贯性与多样性的摘要输出。
• 采用自critical序列训练（SCST）框架，直接以ROUGE指标优化模型，避免使用可微分损失函数。
• 利用卷积序列到序列（ConvS2S）架构，实现比RNN模型更快、更可并行化的训练过程。
• 利用门控卷积层缓解梯度消失问题，提升长距离依赖建模能力。
• 采用最大似然预训练与SCST强化微调相结合的方式，实现端到端训练。

实验结果

研究问题

• RQ1 将主题信息整合到ConvS2S模型中，是否能提升抽取式摘要的连贯性与信息量？
• RQ2 自critical序列训练（SCST）在抽取式摘要模型中如何缓解暴露偏差？
• RQ3 与仅使用词级注意力相比，联合主题与词级注意力是否能生成更具多样性与上下文一致性的摘要？
• RQ4 所提出的模型在标准抽取式摘要基准测试中，相较于现有最先进方法，性能提升程度如何？

主要发现

• 所提模型在Gigaword、DUC-2004和LCSTS数据集上均达到最先进性能，ROUGE分数优于现有方法。
• 主题感知注意力机制的引入显著提升了摘要的连贯性与信息量，该结论得到人工评估与自动指标的验证。
• 自critical序列训练（SCST）有效缓解了暴露偏差，并使训练目标与评估指标（ROUGE）对齐，从而提升泛化能力。
• 模型生成的摘要具有更高的词汇多样性，并在关键内容覆盖方面表现更优，LCSTS数据集上的输出分析证实了这一点。
• 在LCSTS数据集中，模型生成的摘要包含参考摘要中未出现但与主题相关的词汇，表明主题覆盖能力得到提升。
• 消融实验表明，主题建模与SCST均对性能提升有显著贡献，二者结合的模型取得了最高的ROUGE分数。