[论文解读] Deep Recurrent Generative Decoder for Abstractive Text Summarization

Piji Li, Wai Lam+2 more|arXiv (Cornell University)|Aug 2, 2017

Topic Modeling参考文献 36被引用 33

一句话总结

本文提出一种深度循环生成解码器（DRGD），用于抽取式文本摘要生成，通过基于变分推断的循环潜在变量模型，从目标摘要中整合潜在结构信息。通过在序列到序列框架中联合利用生成式潜在变量与判别式确定性状态，DRGD在英文（Gigawords、DUC-2004）和中文（LCSTS）基准上均取得了最先进（SOTA）的ROUGE分数，通过结构化生成显著提升了摘要质量。

ABSTRACT

We propose a new framework for abstractive text summarization based on a sequence-to-sequence oriented encoder-decoder model equipped with a deep recurrent generative decoder (DRGN). Latent structure information implied in the target summaries is learned based on a recurrent latent random model for improving the summarization quality. Neural variational inference is employed to address the intractable posterior inference for the recurrent latent variables. Abstractive summaries are generated based on both the generative latent variables and the discriminative deterministic states. Extensive experiments on some benchmark datasets in different languages show that DRGN achieves improvements over the state-of-the-art methods.

研究动机与目标

• 通过建模人类撰写摘要中固有的潜在结构模式，提升抽取式文本摘要质量。
• 解决确定性解码器在捕捉摘要生成中复杂结构依赖关系方面的局限性。
• 整合生成式潜在变量与判别式状态，以提升摘要质量。
• 开发一种可微分的、端到端可训练的框架，从目标摘要中学习结构化表征。
• 证明循环变分推断在建模摘要中序列潜在结构方面的有效性。

提出的方法

• 提出一种基于序列到序列编码器-解码器框架的增强方法，引入深度循环生成解码器（DRGD），以建模摘要中的潜在结构信息。
• 采用在潜在变量上具有循环依赖关系的变分自编码器（VAEs），以建模序列结构，支持通过反向传播实现端到端训练。
• 使用神经变分推断近似难以计算的潜在变量后验分布，从而实现有效训练。
• 在解码过程中结合生成式潜在变量与确定性解码器状态，以生成更连贯且结构对齐的摘要。
• 将潜在结构建模组件整合到统一的解码框架中，联合优化摘要的流畅性与事实一致性。
• 通过反向传播端到端训练所有模型参数，无需外部语言学特征或预处理。

实验结果

研究问题

• RQ1 在人类撰写摘要中建模潜在结构模式是否能提升抽取式摘要质量？
• RQ2 与非循环或确定性模型相比，将循环依赖关系引入潜在变量是否能提升摘要生成质量？
• RQ3 结合生成式潜在变量与判别式解码器状态是否能带来更高的ROUGE分数和更连贯的摘要？
• RQ4 基于变分推断的循环潜在变量模型是否能在无显式监督的情况下有效捕捉结构模式？
• RQ5 所提出的DRGD框架在多种语言和数据集上与最先进模型相比表现如何？

主要发现

• 在英文Gigawords数据集上，DRGD取得最高ROUGE-F1分数，R-1为31.79，R-2为10.75，R-L为27.48。
• 在DUC-2004数据集上，DRGD优于所有基线模型，R-1为36.99，R-2为24.15，R-L为34.21。
• 在中文LCSTS基准上，DRGD表现最佳，R-1为36.99，R-2为24.15，R-L为34.21，超越CopyNet与RNN-distract。
• 案例研究显示，DRGD生成的摘要在结构上与标准摘要（如“谁-动作-什么”模式）高度一致，而标准解码器如StanD则产生不连贯或离题的输出。
• 模型性能的提升归因于其通过循环变分推断学习并利用复杂潜在结构模式的能力。
• DRGD在不同语言和数据集上展现出优越的泛化能力，表明其潜在结构建模方法具有鲁棒性。