[论文解读] DeepChannel: Salience Estimation by Contrastive Learning for Extractive Document Summarization

Jiaxin Shi, Liang Chen+4 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling参考文献 26被引用 6

一句话总结

DeepChannel 提出了一种基于对比学习的显著性估计模型，用于抽取式文档摘要，利用神经通道模型来评估摘要重建原始文档的能力。该模型在 CNN/Daily Mail 数据集上实现了最先进（SOTA）的 ROUGE 分数，并且仅使用 1% 的训练数据仍能保持强劲性能，展现出极高的数据效率和对领域偏移的鲁棒性。

ABSTRACT

We propose DeepChannel, a robust, data-efficient, and interpretable neural model for extractive document summarization. Given any document-summary pair, we estimate a salience score, which is modeled using an attention-based deep neural network, to represent the salience degree of the summary for yielding the document. We devise a contrastive training strategy to learn the salience estimation network, and then use the learned salience score as a guide and iteratively extract the most salient sentences from the document as our generated summary. In experiments, our model not only achieves state-of-the-art ROUGE scores on CNN/Daily Mail dataset, but also shows strong robustness in the out-of-domain test on DUC2007 test set. Moreover, our model reaches a ROUGE-1 F-1 score of 39.41 on CNN/Daily Mail test set with merely $1 / 100$ training set, demonstrating a tremendous data efficiency.

研究动机与目标

• 为解决端到端神经摘要模型的局限性，包括数据效率低下、过拟合以及可解释性不足的问题。
• 提升在分布外（out-of-domain）设置下的鲁棒性，特别是在 DUC2007 基准测试上的表现。
• 通过实现仅用极少训练数据即可获得优异性能，提升数据效率。
• 通过将显著性建模为通道概率，引入更具可解释性的摘要框架。
• 用可学习的深层神经通道模型替代启发式或基于规则的噪声通道模型。

提出的方法

• 使用对比学习训练显著性估计网络，其中对于每个文档，生成两个候选摘要：一个显著性更高，一个显著性更低。
• 模型学习最大化通道概率 P(D|S₁) 与 P(D|S₂) 之间的差距，其中 S₁ 是显著性更高的摘要。
• 基于注意力机制的深层神经网络建模通道概率 P(D|S)，表示从摘要 S 生成文档 D 的可能性。
• 显著性分数用于贪心的、迭代的抽取过程，以选择最显著的句子形成最终摘要。
• 引入惩罚项以正则化注意力机制，确保所有摘要句子都获得关注，防止注意力坍塌至单一句子。
• 当前版本中，模型未使用语言模型 P(S)，仅专注于通道模型 P(D|S)。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，对比学习策略是否能提升抽取式摘要中的显著性估计性能？
• RQ2 与端到端模型相比，所提出的显著性估计模型在分布外测试集上的表现如何？
• RQ3 当训练数据被大幅减少时，该模型的性能能保持到何种程度？
• RQ4 惩罚项是否能改善注意力分布并防止注意力坍塌？
• RQ5 该模型是否能在保持竞争力摘要性能的同时实现高度可解释性？

主要发现

• DeepChannel 仅使用 1/100 的训练数据，在 CNN/Daily Mail 测试集上实现了 ROUGE-1 F1 得分为 39.41，展现出卓越的数据效率。
• 在 DUC2007 测试集上，该模型优于端到端基线模型，表现出对领域偏移的强鲁棒性。
• 当惩罚项权重 α = 0.001 时，模型达到最高 ROUGE 分数；而移除该惩罚项（α = 0）则导致性能显著下降。
• 注意力热力图可视化结果表明，模型学会了关注语义相关的句子对，且惩罚项有效防止了注意力坍塌至单一句子。
• 定性分析显示，DeepChannel 能够成功提取显著性句子，避免冗余内容，且提取的句子与黄金摘要语义高度匹配。
• 即使将惩罚项权重增加至 α = 0.1，模型仍保持高性能，但因训练不稳定导致性能下降。