[论文解读] Topic-Guided Abstractive Text Summarization: a Joint Learning Approach

Chujie Zheng, Kunpeng Zhang+3 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 42被引用 6

一句话总结

本文提出了一种联合学习框架，将神经主题建模与基于Transformer的序列到序列模型相结合，用于抽取式文本摘要生成，利用主题级特征引导全局语义理解。该方法通过增强长距离依赖建模，提升了摘要质量，在CNN/DM和XSUM数据集上实现了SOTA的ROUGE分数和更优的人工评估结果。

ABSTRACT

We introduce a new approach for abstractive text summarization, Topic-Guided Abstractive Summarization, which calibrates long-range dependencies from topic-level features with globally salient content. The idea is to incorporate neural topic modeling with a Transformer-based sequence-to-sequence (seq2seq) model in a joint learning framework. This design can learn and preserve the global semantics of the document, which can provide additional contextual guidance for capturing important ideas of the document, thereby enhancing the generation of summary. We conduct extensive experiments on two datasets and the results show that our proposed model outperforms many extractive and abstractive systems in terms of both ROUGE measurements and human evaluation. Our code is available at: https://github.com/chz816/tas.

研究动机与目标

• 为解决基于Transformer的模型在捕捉长文档全局语义结构方面的局限性。
• 通过引入主题级特征作为上下文引导，提升抽取式摘要生成质量。
• 联合训练主题模型与序列到序列模型，实现端到端优化。
• 通过主题感知生成提升摘要的流畅性与事实一致性。
• 在自动评估与人工评估中，均证明该方法优于抽取式与抽取式基线模型。

提出的方法

• 一种联合学习框架将神经主题模型（prodLDA）与基于Transformer的seq2seq模型融合。
• 从文档中提取主题特征，并注入解码器注意力机制，以引导摘要生成。
• 模型通过多任务损失函数进行端到端训练，损失函数结合了主题模型的重建损失与摘要任务的生成损失。
• 超参数α用于平衡主题建模与摘要损失的贡献，最优性能出现在α=0.1时。
• 架构采用共享编码器服务于两个任务，实现参数共享与联合优化。
• 主题模型采用变分推理方法进行训练，潜在主题分布作为隐变量。

实验结果

研究问题

• RQ1 将主题级特征整合是否能提升基于Transformer的抽取式摘要模型的全局语义理解能力？
• RQ2 主题建模与摘要任务的联合训练是否优于独立训练或微调？
• RQ3 与强基线模型相比，该模型在长文档或复杂文档上的表现如何？
• RQ4 在联合训练设置中，主题建模与生成目标之间的最优平衡是什么？
• RQ5 主题引导的方法是否在事实一致性与覆盖度方面提升了摘要质量？

主要发现

• 在CNN/DM数据集上，所提模型达到ROUGE-1为44.63，ROUGE-2为21.62，ROUGE-L为36.77，在相同设置下优于distil-BART。
• 在XSUM数据集上，模型达到ROUGE-1为44.63，ROUGE-2为21.62，ROUGE-L为36.77，相较于强基线模型表现出一致的性能提升。
• 人工评估确认，所提模型生成的摘要在流畅性、事实准确性以及关键信息捕捉方面均优于distil-BART生成的摘要。
• 消融实验表明，最优损失权重参数α=0.1，较低的α值可获得更优性能。
• 鲁棒性检验显示，该模型在长文档及最新位置子群体中表现更优，表明其具备更强的全局文档理解能力。
• 即使在延长微调时长的情况下，模型仍保持优异性能，表明主题建模组件是性能提升的关键驱动因素。