[论文解读] Faithful to the Original: Fact Aware Neural Abstractive Summarization

Ziqiang Cao, Furu Wei+2 more|arXiv (Cornell University)|Nov 13, 2017

Topic Modeling被引用 174

一句话总结

该论文提出 FTSum，一个双注意力的抽象式摘要模型，利用 OpenIE 的提取事实描述和依存句法分析来提高可信度，在 Gigaword 数据集上显著减少虚假摘要并提升信息量。

ABSTRACT

Unlike extractive summarization, abstractive summarization has to fuse different parts of the source text, which inclines to create fake facts. Our preliminary study reveals nearly 30% of the outputs from a state-of-the-art neural summarization system suffer from this problem. While previous abstractive summarization approaches usually focus on the improvement of informativeness, we argue that faithfulness is also a vital prerequisite for a practical abstractive summarization system. To avoid generating fake facts in a summary, we leverage open information extraction and dependency parse technologies to extract actual fact descriptions from the source text. The dual-attention sequence-to-sequence framework is then proposed to force the generation conditioned on both the source text and the extracted fact descriptions. Experiments on the Gigaword benchmark dataset demonstrate that our model can greatly reduce fake summaries by 80%. Notably, the fact descriptions also bring significant improvement on informativeness since they often condense the meaning of the source text.

研究动机与目标

• 动机：强调在抽象摘要中保持忠实性的重要性，并识别神经摘要中的虚假事实问题。
• 提出一个具事实感知的双注意力序列到序列模型（FTSum），其生成取决于源句子和提取的事实描述。
• 证明结合事实描述可减少虚假摘要并提高信息量，在标准基准上。
• 证明事实描述能够压缩含义，提升信息性而不牺牲流畅性。

提出的方法

• 使用 OpenIE 三元组和依存句法元组从句子中提取事实描述，并用特殊分隔符连接，形成事实描述序列。
• 用独立的 BiGRU 编码器对源句子和事实描述进行编码，得到 h^x_i 与 h^r_i 表示。
• 计算句子和事实描述上的分离注意力上下文向量 c^x_t 与 c^r_t，并通过门控网络将它们融合，形成解码时的上下文 c_t。
• 使用一个双注意力解码器（带注意力的 GRU），在整合后的上下文条件下生成摘要，提供两种融合方法：FTSum c（拼接）和 FTSum g（基于门控的加权结合）。
• 通过最大化真实摘要的似然性（负对数似然损失）进行训练，使用 Adam，以及 dropout、梯度裁剪等标准做法。

实验结果

研究问题

• RQ1 对将事实描述进行显式编码是否能提高抽象摘要的可信性？
• RQ2 对源句子和提取的事实描述的双注意力是否能减少生成摘要中的虚假事实？
• RQ3 事实描述如何影响信息量和在 Gigaword 上基于 ROUGE 的评估指标？
• RQ4 基于门控的融合（FTSum g）相比简单拼接（FTSum c）在上下文整合中的影响是什么？

主要发现

模型	ROUGE-1	ROUGE-2	ROUGE-L
ABS	29.55	11.32	26.42
ABS+	29.78	11.89	26.97
Feats2s	32.67	15.59	30.64
RAS-Elman	33.78	15.97	31.15
Luong-NMT	33.10	14.45	30.71
s2s+att	34.23	15.52	31.57
FTSum c	35.73	16.02	34.13
FTSum g	37.27	17.65	34.24

• FTSum g 在开发集上实现了最佳困惑度（16.4），优于 FTSum c（20.1）。
• FTSum g 在基线中取得最高的 ROUGE 分数（RG-1: 37.27, RG-2: 17.65, RG-L: 34.24）。
• 人工可信度评估显示 FTSum g 将虚假摘要降至 6%，相比 att-s2s 的 27%，FTSum g 的可信输出比例为 87%。
• 事实描述被估计比从源句子中复制的词语更容易被写入摘要，约高出 40%，表明含义的压缩提高了信息量。
• FTSum g 的门控机制使事实描述的影响与其相对可靠性保持一致，约稳定在 0.415，句子到事实的门控比约为 1.41，与观察到的复制比一致。
• FTSum 模型在困惑度和 ROUGE 指标上均显著优于最新的基线，且是全数据驱动、无手工特征。