[论文解读] Neural Latent Extractive Document Summarization

Xingxing Zhang, Mirella Lapata+2 more|arXiv (Cornell University)|Aug 22, 2018

Topic Modeling参考文献 21被引用 8

一句话总结

本文提出了一种神经潜在变量抽取式摘要模型，将句子选择建模为潜在变量问题，直接优化真实人类摘要，而非依赖启发式句子标签。通过将句子包含建模为二值潜在变量，并基于真实摘要的直接似然进行训练，该方法在CNN/Dailymail数据集上实现了最先进性能，优于强Baseline抽取式模型及具有竞争力的生成式模型。

ABSTRACT

Extractive summarization models require sentence-level labels, which are usually created heuristically (e.g., with rule-based methods) given that most summarization datasets only have document-summary pairs. Since these labels might be suboptimal, we propose a latent variable extractive model where sentences are viewed as latent variables and sentences with activated variables are used to infer gold summaries. During training the loss comes \emph{directly} from gold summaries. Experiments on the CNN/Dailymail dataset show that our model improves over a strong extractive baseline trained on heuristically approximated labels and also performs competitively to several recent models.

研究动机与目标

• 解决抽取式摘要模型依赖从真实摘要中衍生的次优启发式句子标签所导致的局限性。
• 通过使用潜在句子变量直接建模真实摘要的似然性，改进抽取式摘要。
• 通过直接在人工撰写摘要上进行训练，消除对启发式标签近似的需要。
• 证明端到端优化真实摘要相比基于标签的训练能带来更好的摘要性能。

提出的方法

• 将句子选择建模为潜在变量问题，其中每个句子是否被包含在摘要中均为一个二值潜在变量。
• 使用双向LSTM句子编码器生成句子表示，随后通过文档级别的双向LSTM捕捉上下文信息。
• 应用句子压缩模型，从源句子生成类似摘要的句子表示。
• 通过使用潜在变量目标的可微分近似，最大化给定所选句子的真实摘要的似然性来训练模型。
• 采用随机梯度下降配合梯度裁剪和Dropout正则化以稳定训练过程。
• 推理阶段，根据句子被选中的后验概率进行排序，并选取前三个作为最终摘要。

实验结果

研究问题

• RQ1 是否能够证明，直接针对真实摘要进行优化的潜在变量模型，优于基于启发式句子标签训练的抽取式模型？
• RQ2 基于直接基于真实摘要的损失函数进行训练，是否能带来相较于标准抽取式基线模型的性能提升？
• RQ3 在潜在变量框架中，句子压缩模型是否能有效弥合源句子与真实摘要表示之间的差距？
• RQ4 对真实摘要进行直接优化带来的性能增益是否在多个ROUGE指标上均具鲁棒性？
• RQ5 在潜在模型输出上应用独立的句子压缩模型是否会降低摘要质量？

主要发现

• 所提出的潜在模型在CNN/Dailymail测试集上达到37.54的ROUGE-L分数，优于强Baseline抽取式模型（37.14）0.40分。
• 与基于规则标签训练的抽取式基线相比，该潜在模型在ROUGE-L上提升0.40分，在ROUGE-2上提升0.32分。
• 该模型在性能上与近期生成式模型相当，除一种生成式模型（abstract-RL）外，其余均低于其ROUGE-L分数。
• 在潜在模型输出上应用句子压缩模型（latent+compress）导致性能显著下降，ROUGE-L降至34.33，表明压缩可能移除了关键的摘要相关短语。
• 与基线相比，潜在模型的性能提升在所有ROUGE指标上均具有统计显著性（p < 0.05）。